ko-edu-classifier

This model is a fine-tuned version of lemon-mint/LaBSE-EnKo-Nano-Preview-v0.3 on the None dataset. It achieves the following results on the evaluation set:

• Loss: 0.4786
• Precision: 0.2331
• Recall: 0.2159
• F1 Macro: 0.2189
• Accuracy: 0.5472

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 0.0005
• train_batch_size: 64
• eval_batch_size: 64
• seed: 0
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: cosine
• lr_scheduler_warmup_ratio: 0.2
• num_epochs: 20

Training results

Training Loss	Epoch	Step	Validation Loss	Precision	Recall	F1 Macro	Accuracy
4.2504	0.0945	256	3.2444	0.0008	0.1667	0.0016	0.0048
1.3656	0.1890	512	0.5092	0.2083	0.1810	0.1670	0.5551
0.4651	0.2835	768	0.4301	0.2927	0.1811	0.1588	0.5759
0.4159	0.3780	1024	0.4024	0.2701	0.1868	0.1694	0.5845
0.3977	0.4725	1280	0.3887	0.2741	0.1891	0.1733	0.5873
0.3911	0.5670	1536	0.3883	0.2944	0.1982	0.1866	0.5942
0.3934	0.6615	1792	0.3821	0.2848	0.1930	0.1795	0.5932
0.3794	0.7560	2048	0.3905	0.2732	0.1890	0.1712	0.5876
0.3849	0.8505	2304	0.3919	0.2925	0.2064	0.1963	0.5897
0.3702	0.9450	2560	0.3829	0.2664	0.1916	0.1784	0.5869
0.3835	1.0395	2816	0.3795	0.2752	0.1950	0.1833	0.5897
0.3749	1.1340	3072	0.3825	0.2879	0.1982	0.1866	0.5914
0.3752	1.2285	3328	0.3804	0.2922	0.2036	0.1935	0.5890
0.3794	1.3230	3584	0.3888	0.2867	0.2018	0.1893	0.5880
0.367	1.4175	3840	0.3748	0.2782	0.1964	0.1862	0.5928
0.3757	1.5120	4096	0.3802	0.2745	0.1936	0.1809	0.5904
0.3734	1.6065	4352	0.3749	0.3038	0.2064	0.1992	0.5876
0.3752	1.7010	4608	0.3765	0.2812	0.1974	0.1853	0.5890
0.3776	1.7955	4864	0.3796	0.2735	0.1975	0.1840	0.5887
0.3643	1.8900	5120	0.3778	0.2863	0.2028	0.1922	0.5838
0.3662	1.9845	5376	0.3732	0.2928	0.2104	0.2058	0.5911
0.3634	2.0790	5632	0.3750	0.2756	0.1985	0.1890	0.5914
0.3604	2.1735	5888	0.3795	0.2775	0.2078	0.2030	0.5783
0.3617	2.2680	6144	0.3729	0.2798	0.1952	0.1827	0.5921
0.3673	2.3625	6400	0.3764	0.2832	0.1862	0.1656	0.5880
0.353	2.4570	6656	0.3743	0.2681	0.1951	0.1847	0.5880
0.3658	2.5515	6912	0.3756	0.2942	0.2176	0.2204	0.5852
0.3665	2.6460	7168	0.3718	0.3547	0.2070	0.2047	0.5890
0.3525	2.7405	7424	0.3775	0.2669	0.1916	0.1784	0.5859
0.3633	2.8350	7680	0.4150	0.2599	0.2092	0.1985	0.5679
0.3572	2.9295	7936	0.3768	0.2832	0.1969	0.1846	0.5928
0.3539	3.0240	8192	0.3770	0.2692	0.1977	0.1890	0.5873
0.352	3.1185	8448	0.3863	0.2667	0.2057	0.1963	0.5838
0.3463	3.2130	8704	0.3771	0.4332	0.2039	0.2021	0.5866
0.3388	3.3075	8960	0.3778	0.2576	0.2030	0.1979	0.5824
0.3532	3.4020	9216	0.3819	0.2631	0.2023	0.1931	0.5814
0.353	3.4965	9472	0.3813	0.3444	0.2064	0.2061	0.5835
0.3481	3.5910	9728	0.3821	0.2993	0.2137	0.2160	0.5828
0.3453	3.6855	9984	0.3893	0.2888	0.2041	0.1991	0.5783
0.3457	3.7800	10240	0.3808	0.2683	0.2068	0.2045	0.5914
0.3442	3.8745	10496	0.3898	0.2617	0.2076	0.2014	0.5824
0.3427	3.9690	10752	0.3806	0.2652	0.2049	0.2009	0.5873
0.3342	4.0635	11008	0.3868	0.3427	0.1971	0.1886	0.5793
0.3368	4.1580	11264	0.3979	0.5055	0.2309	0.2424	0.5814
0.335	4.2525	11520	0.3855	0.2560	0.2018	0.1980	0.5831
0.3321	4.3470	11776	0.3878	0.2624	0.2029	0.1977	0.5849
0.3302	4.4415	12032	0.3876	0.2604	0.2092	0.2060	0.5838
0.3328	4.5360	12288	0.3941	0.4212	0.2206	0.2212	0.5779
0.3289	4.6305	12544	0.3881	0.2554	0.2075	0.2075	0.5783
0.3334	4.7250	12800	0.3867	0.2562	0.1906	0.1789	0.5790
0.3359	4.8195	13056	0.4004	0.3084	0.2090	0.2103	0.5752
0.3271	4.9140	13312	0.3969	0.5035	0.2221	0.2341	0.5724
0.3247	5.0085	13568	0.3865	0.2538	0.2095	0.2085	0.5790
0.3191	5.1030	13824	0.3914	0.2875	0.2170	0.2197	0.5811
0.3169	5.1975	14080	0.3945	0.5011	0.2182	0.2252	0.5800
0.3101	5.2920	14336	0.3973	0.2508	0.2076	0.2080	0.5752
0.3143	5.3865	14592	0.3884	0.2663	0.2136	0.2119	0.5890
0.3201	5.4810	14848	0.4048	0.2513	0.2134	0.2086	0.5790
0.3191	5.5755	15104	0.3929	0.2816	0.2206	0.2236	0.5838
0.3127	5.6700	15360	0.3983	0.4254	0.2191	0.2209	0.5821
0.3178	5.7645	15616	0.4007	0.4224	0.2190	0.2272	0.5638
0.3174	5.8590	15872	0.3979	0.4750	0.2229	0.2350	0.5773
0.3159	5.9535	16128	0.3951	0.2601	0.2163	0.2162	0.5845
0.3102	6.0480	16384	0.4055	0.4034	0.2377	0.2531	0.5773
0.2951	6.1425	16640	0.4073	0.4325	0.2402	0.2509	0.5779
0.2975	6.2370	16896	0.3952	0.2585	0.2098	0.2108	0.5804
0.303	6.3315	17152	0.4036	0.2603	0.2115	0.2123	0.5790
0.3041	6.4260	17408	0.3981	0.2574	0.2156	0.2190	0.5790
0.3039	6.5205	17664	0.4055	0.2546	0.2142	0.2135	0.5814
0.3044	6.6150	17920	0.4139	0.3384	0.2220	0.2243	0.5759
0.3055	6.7095	18176	0.3970	0.2559	0.2157	0.2186	0.5790
0.3028	6.8040	18432	0.4024	0.4294	0.2305	0.2388	0.5876
0.2997	6.8985	18688	0.4143	0.2966	0.2264	0.2336	0.5783
0.2985	6.9930	18944	0.4024	0.2521	0.2126	0.2136	0.5783
0.2866	7.0875	19200	0.4054	0.2594	0.2189	0.2199	0.5824
0.2824	7.1820	19456	0.4126	0.2810	0.2382	0.2416	0.5779
0.2885	7.2765	19712	0.4088	0.2609	0.2130	0.2122	0.5887
0.2859	7.3710	19968	0.4058	0.2511	0.2055	0.2053	0.5735
0.2889	7.4655	20224	0.4141	0.2527	0.2110	0.2102	0.5807
0.2877	7.5600	20480	0.4153	0.2949	0.2221	0.2273	0.5817
0.2849	7.6545	20736	0.4173	0.2581	0.2236	0.2242	0.5824
0.2843	7.7490	20992	0.4081	0.2512	0.2210	0.2252	0.5735
0.2909	7.8435	21248	0.4056	0.2620	0.2136	0.2122	0.5873
0.2904	7.9380	21504	0.4117	0.2565	0.2148	0.2147	0.5831
0.2842	8.0325	21760	0.4161	0.3647	0.2387	0.2526	0.5748
0.2728	8.1270	22016	0.4208	0.2951	0.2252	0.2319	0.5793
0.2781	8.2215	22272	0.4207	0.2548	0.2213	0.2222	0.5804
0.2703	8.3160	22528	0.4238	0.2907	0.2267	0.2308	0.5745
0.2737	8.4105	22784	0.4222	0.3069	0.2249	0.2306	0.5748
0.2716	8.5050	23040	0.4196	0.3654	0.2234	0.2346	0.5766
0.2699	8.5995	23296	0.4157	0.2948	0.2277	0.2374	0.5773
0.2725	8.6940	23552	0.4204	0.2484	0.2150	0.2181	0.5710
0.2705	8.7885	23808	0.4256	0.2469	0.2137	0.2164	0.5703
0.2697	8.8830	24064	0.4287	0.2814	0.2339	0.2424	0.5703
0.2723	8.9775	24320	0.4301	0.2650	0.2306	0.2356	0.5693
0.2637	9.0720	24576	0.4311	0.2458	0.2191	0.2226	0.5665
0.2529	9.1665	24832	0.4307	0.2463	0.2160	0.2192	0.5672
0.2638	9.2610	25088	0.4407	0.3097	0.2540	0.2673	0.5645
0.2585	9.3555	25344	0.4341	0.2861	0.2221	0.2289	0.5707
0.2628	9.4500	25600	0.4243	0.2481	0.2144	0.2168	0.5741
0.2635	9.5445	25856	0.4324	0.2642	0.2264	0.2323	0.5662
0.2551	9.6390	26112	0.4318	0.3043	0.2185	0.2236	0.5748
0.2646	9.7335	26368	0.4304	0.3121	0.2512	0.2637	0.5693
0.2554	9.8280	26624	0.4335	0.2729	0.2345	0.2433	0.5645
0.2609	9.9225	26880	0.4335	0.3333	0.2436	0.2572	0.5679
0.2594	10.0170	27136	0.4485	0.3174	0.2388	0.2495	0.5721
0.2485	10.1115	27392	0.4380	0.3303	0.2446	0.2598	0.5620
0.2459	10.2060	27648	0.4308	0.2526	0.2209	0.2250	0.5748
0.2426	10.3005	27904	0.4372	0.2479	0.2175	0.2204	0.5735
0.2479	10.3950	28160	0.4442	0.2617	0.2289	0.2347	0.5634
0.2506	10.4895	28416	0.4422	0.2419	0.2156	0.2175	0.5665
0.2487	10.5840	28672	0.4319	0.2808	0.2256	0.2335	0.5724
0.2492	10.6785	28928	0.4463	0.2654	0.2294	0.2354	0.5665
0.2494	10.7730	29184	0.4396	0.2729	0.2338	0.2420	0.5686
0.2437	10.8675	29440	0.4425	0.3190	0.2515	0.2626	0.5665
0.2542	10.9620	29696	0.4442	0.3189	0.2474	0.2587	0.5655
0.2414	11.0565	29952	0.4468	0.2405	0.2159	0.2174	0.5624
0.2349	11.1510	30208	0.4448	0.2797	0.2421	0.2500	0.5686
0.2337	11.2455	30464	0.4450	0.3191	0.2457	0.2566	0.5676
0.2372	11.3400	30720	0.4453	0.2732	0.2439	0.2489	0.5697
0.2364	11.4345	30976	0.4439	0.2662	0.2292	0.2346	0.5728
0.2361	11.5290	31232	0.4495	0.2745	0.2384	0.2448	0.5652
0.2472	11.6235	31488	0.4498	0.2760	0.2383	0.2457	0.5600
0.2388	11.7180	31744	0.4461	0.2614	0.2274	0.2342	0.5603
0.237	11.8125	32000	0.4583	0.2564	0.2212	0.2271	0.5562
0.2406	11.9070	32256	0.4461	0.2723	0.2198	0.2258	0.5679
0.2401	12.0015	32512	0.4468	0.2379	0.2134	0.2164	0.5565
0.2287	12.0960	32768	0.4582	0.2838	0.2344	0.2413	0.5652
0.2242	12.1905	33024	0.4516	0.2484	0.2221	0.2256	0.5717
0.2311	12.2850	33280	0.4582	0.2599	0.2221	0.2277	0.5527
0.2338	12.3795	33536	0.4496	0.2697	0.2292	0.2363	0.5690
0.2285	12.4740	33792	0.4588	0.2363	0.2196	0.2222	0.5506
0.2326	12.5685	34048	0.4507	0.2702	0.2381	0.2434	0.5607
0.2259	12.6630	34304	0.4528	0.2431	0.2157	0.2192	0.5634
0.2283	12.7575	34560	0.4541	0.2469	0.2247	0.2284	0.5676
0.2251	12.8520	34816	0.4495	0.2442	0.2165	0.2189	0.5655
0.2324	12.9465	35072	0.4562	0.2436	0.2224	0.2238	0.5620
0.2236	13.0410	35328	0.4572	0.2426	0.2181	0.2219	0.5627
0.2155	13.1355	35584	0.4628	0.2570	0.2373	0.2403	0.5506
0.2213	13.2300	35840	0.4651	0.2562	0.2272	0.2326	0.5562
0.2161	13.3245	36096	0.4687	0.2796	0.2414	0.2511	0.5558
0.2191	13.4190	36352	0.4604	0.2395	0.2142	0.2172	0.5603
0.222	13.5135	36608	0.4645	0.2839	0.2430	0.2525	0.5610
0.2257	13.6080	36864	0.4571	0.2410	0.2172	0.2203	0.5627
0.2248	13.7025	37120	0.4620	0.2804	0.2367	0.2446	0.5669
0.2232	13.7970	37376	0.4641	0.2392	0.2191	0.2221	0.5562
0.225	13.8915	37632	0.4599	0.2787	0.2418	0.2507	0.5603
0.216	13.9860	37888	0.4602	0.2555	0.2221	0.2279	0.5589
0.214	14.0805	38144	0.4619	0.2584	0.2232	0.2285	0.5620
0.216	14.1750	38400	0.4577	0.2669	0.2244	0.2316	0.5624
0.2155	14.2695	38656	0.4675	0.2666	0.2448	0.2478	0.5614
0.2067	14.3640	38912	0.4640	0.2419	0.2191	0.2222	0.5620
0.2134	14.4585	39168	0.4636	0.2628	0.2257	0.2320	0.5634
0.2118	14.5530	39424	0.4663	0.2371	0.2178	0.2216	0.5510
0.2158	14.6475	39680	0.4658	0.2684	0.2405	0.2466	0.5579
0.213	14.7420	39936	0.4647	0.2392	0.2170	0.2204	0.5579
0.2159	14.8365	40192	0.4659	0.2417	0.2180	0.2218	0.5614
0.2154	14.9310	40448	0.4746	0.2513	0.2292	0.2346	0.5479
0.2126	15.0255	40704	0.4707	0.2394	0.2201	0.2230	0.5562
0.2046	15.1200	40960	0.4692	0.2665	0.2356	0.2427	0.5496
0.2082	15.2145	41216	0.4725	0.2894	0.2473	0.2575	0.5551
0.2098	15.3090	41472	0.4723	0.2576	0.2329	0.2388	0.5548
0.2102	15.4035	41728	0.4702	0.2552	0.2246	0.2310	0.5548
0.2105	15.4980	41984	0.4766	0.2372	0.2195	0.2219	0.5541
0.2129	15.5925	42240	0.4697	0.2796	0.2336	0.2421	0.5617
0.206	15.6870	42496	0.4782	0.2869	0.2478	0.2577	0.5538
0.2107	15.7815	42752	0.4751	0.2668	0.2422	0.2482	0.5517
0.2092	15.8760	43008	0.4718	0.2554	0.2300	0.2360	0.5538
0.2034	15.9705	43264	0.4728	0.2524	0.2246	0.2300	0.5548
0.2003	16.0650	43520	0.4744	0.2656	0.2329	0.2405	0.5499
0.2053	16.1595	43776	0.4741	0.2501	0.2288	0.2335	0.5506
0.2065	16.2540	44032	0.4747	0.2356	0.2162	0.2191	0.5524
0.2043	16.3485	44288	0.4714	0.2336	0.2164	0.2196	0.5475
0.2015	16.4430	44544	0.4770	0.2630	0.2414	0.2473	0.5441
0.2058	16.5375	44800	0.4734	0.2384	0.2176	0.2211	0.5555
0.2051	16.6320	45056	0.4730	0.2361	0.2175	0.2203	0.5534
0.2077	16.7265	45312	0.4748	0.2529	0.2303	0.2353	0.5534
0.2071	16.8210	45568	0.4753	0.2522	0.2307	0.2355	0.5534
0.2006	16.9155	45824	0.4759	0.2792	0.2483	0.2554	0.5551
0.2038	17.0100	46080	0.4755	0.2631	0.2343	0.2412	0.5503
0.1967	17.1045	46336	0.4767	0.2358	0.2168	0.2202	0.5520
0.2028	17.1990	46592	0.4757	0.2388	0.2204	0.2231	0.5558
0.2036	17.2935	46848	0.4770	0.2665	0.2349	0.2420	0.5520
0.2051	17.3880	47104	0.4729	0.2671	0.2346	0.2421	0.5548
0.2015	17.4825	47360	0.4763	0.2494	0.2221	0.2276	0.5531
0.2023	17.5770	47616	0.4787	0.2606	0.2321	0.2387	0.5486
0.2022	17.6715	47872	0.4789	0.2671	0.2358	0.2434	0.5520
0.1971	17.7660	48128	0.4766	0.2362	0.2182	0.2210	0.5531
0.2024	17.8605	48384	0.4765	0.2531	0.2310	0.2356	0.5562
0.199	17.9550	48640	0.4791	0.2491	0.2288	0.2329	0.5517
0.1926	18.0495	48896	0.4776	0.2512	0.2304	0.2348	0.5531
0.1978	18.1440	49152	0.4778	0.2501	0.2301	0.2348	0.5479
0.2018	18.2385	49408	0.4791	0.2636	0.2361	0.2426	0.5496
0.2017	18.3330	49664	0.4780	0.2519	0.2300	0.2348	0.5527
0.1972	18.4275	49920	0.4782	0.2491	0.2299	0.2340	0.5506
0.2028	18.5220	50176	0.4780	0.2529	0.2311	0.2359	0.5541
0.2002	18.6165	50432	0.4781	0.2502	0.2282	0.2328	0.5517
0.1932	18.7110	50688	0.4783	0.2500	0.2288	0.2330	0.5524
0.1975	18.8055	50944	0.4791	0.2498	0.2280	0.2327	0.5499
0.2001	18.9000	51200	0.4784	0.2495	0.2282	0.2328	0.5499
0.2007	18.9945	51456	0.4783	0.2486	0.2278	0.2323	0.5479
0.1952	19.0890	51712	0.4785	0.2490	0.2277	0.2322	0.5493
0.1971	19.1835	51968	0.4784	0.2343	0.2172	0.2201	0.5489
0.1958	19.2780	52224	0.4780	0.2350	0.2174	0.2205	0.5503
0.1963	19.3725	52480	0.4778	0.2355	0.2173	0.2205	0.5510
0.1974	19.4670	52736	0.4782	0.2499	0.2286	0.2332	0.5499
0.1995	19.5615	52992	0.4784	0.2339	0.2166	0.2197	0.5486
0.1966	19.6560	53248	0.4784	0.2331	0.2158	0.2188	0.5472
0.1996	19.7505	53504	0.4787	0.2336	0.2164	0.2194	0.5482
0.1958	19.8450	53760	0.4786	0.2331	0.2159	0.2189	0.5472
0.2012	19.9395	54016	0.4786	0.2331	0.2159	0.2189	0.5472

Framework versions

• Transformers 4.43.3
• Pytorch 2.4.0+cu118
• Datasets 2.19.1
• Tokenizers 0.19.1