wav2vec2-bert-CV16-en

This model is a fine-tuned version of ylacombe/w2v-bert-2.0 on the MOZILLA-FOUNDATION/COMMON_VOICE_16_0 - EN dataset. It achieves the following results on the evaluation set:

• Loss: 0.2427
• Wer: 0.1455
• Cer: 0.0580

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 5e-05
• train_batch_size: 12
• eval_batch_size: 12
• seed: 42
• distributed_type: multi-GPU
• num_devices: 3
• total_train_batch_size: 36
• total_eval_batch_size: 36
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• lr_scheduler_warmup_steps: 10000
• num_epochs: 3.0
• mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss	Wer	Cer
2.9554	0.01	250	3.1731	0.9999	0.9942
2.7058	0.02	500	2.6717	1.0307	0.7486
0.9641	0.02	750	0.9895	0.6091	0.2035
0.6935	0.03	1000	0.7740	0.4821	0.1562
0.617	0.04	1250	0.6751	0.4008	0.1303
0.4826	0.05	1500	0.5920	0.3499	0.1170
0.4252	0.06	1750	0.5659	0.3056	0.1053
0.472	0.07	2000	0.5066	0.2869	0.1007
0.4042	0.07	2250	0.4604	0.2662	0.0950
0.4279	0.08	2500	0.5165	0.2587	0.0948
0.3586	0.09	2750	0.4440	0.2461	0.0895
0.2715	0.1	3000	0.5096	0.2468	0.0904
0.413	0.11	3250	0.4416	0.2350	0.0879
0.3142	0.11	3500	0.4591	0.2280	0.0856
0.286	0.12	3750	0.4529	0.2284	0.0860
0.3112	0.13	4000	0.4621	0.2320	0.0875
0.3294	0.14	4250	0.4528	0.2294	0.0862
0.3522	0.15	4500	0.4279	0.2287	0.0861
0.2977	0.15	4750	0.4403	0.2200	0.0830
0.2391	0.16	5000	0.4360	0.2161	0.0831
0.3025	0.17	5250	0.4214	0.2157	0.0831
0.309	0.18	5500	0.4060	0.2125	0.0818
0.2872	0.19	5750	0.4233	0.2189	0.0824
0.2796	0.2	6000	0.4055	0.2151	0.0823
0.2609	0.2	6250	0.4374	0.2194	0.0853
0.283	0.21	6500	0.4288	0.2215	0.0877
0.3028	0.22	6750	0.4180	0.2166	0.0837
0.2565	0.23	7000	0.4476	0.2268	0.0892
0.2824	0.24	7250	0.4057	0.2195	0.0850
0.325	0.24	7500	0.3926	0.2157	0.0849
0.336	0.25	7750	0.4469	0.2208	0.0879
0.304	0.26	8000	0.4292	0.2245	0.0886
0.2457	0.27	8250	0.4198	0.2204	0.0856
0.2768	0.28	8500	0.4330	0.2184	0.0859
0.2165	0.29	8750	0.4276	0.2173	0.0864
0.3015	0.29	9000	0.4255	0.2223	0.0882
0.308	0.3	9250	0.4356	0.2318	0.0925
0.2981	0.31	9500	0.4514	0.2226	0.0884
0.2944	0.32	9750	0.4182	0.2293	0.0901
0.3298	0.33	10000	0.4290	0.2275	0.0892
0.2523	0.33	10250	0.4032	0.2191	0.0865
0.2887	0.34	10500	0.4218	0.2284	0.0917
0.3156	0.35	10750	0.3930	0.2271	0.0898
0.2526	0.36	11000	0.4367	0.2304	0.0928
0.2561	0.37	11250	0.4261	0.2279	0.0916
0.2291	0.37	11500	0.4401	0.2231	0.0899
0.2521	0.38	11750	0.4101	0.2232	0.0895
0.2249	0.39	12000	0.4021	0.2270	0.0913
0.2917	0.4	12250	0.4124	0.2267	0.0915
0.2436	0.41	12500	0.4197	0.2257	0.0903
0.2976	0.42	12750	0.3951	0.2230	0.0896
0.2333	0.42	13000	0.4099	0.2250	0.0901
0.2261	0.43	13250	0.4328	0.2168	0.0876
0.2514	0.44	13500	0.3947	0.2208	0.0895
0.296	0.45	13750	0.3953	0.2149	0.0859
0.2426	0.46	14000	0.3831	0.2119	0.0852
0.2258	0.46	14250	0.4060	0.2263	0.0915
0.2565	0.47	14500	0.4057	0.2237	0.0901
0.2834	0.48	14750	0.4112	0.2167	0.0876
0.234	0.49	15000	0.3802	0.2133	0.0852
0.3084	0.5	15250	0.3837	0.2151	0.0871
0.3051	0.51	15500	0.3848	0.2145	0.0867
0.2364	0.51	15750	0.3817	0.2134	0.0870
0.2345	0.52	16000	0.3883	0.2163	0.0874
0.2235	0.53	16250	0.3740	0.2136	0.0869
0.2365	0.54	16500	0.3711	0.2112	0.0850
0.2449	0.55	16750	0.3805	0.2127	0.0858
0.2569	0.55	17000	0.3794	0.2124	0.0863
0.2273	0.56	17250	0.3922	0.2207	0.0895
0.2492	0.57	17500	0.3670	0.2195	0.0874
0.236	0.58	17750	0.3799	0.2120	0.0862
0.2823	0.59	18000	0.3734	0.2144	0.0867
0.2349	0.59	18250	0.3972	0.2175	0.0889
0.2156	0.6	18500	0.3729	0.2157	0.0867
0.2812	0.61	18750	0.3905	0.2117	0.0854
0.242	0.62	19000	0.3912	0.2114	0.0855
0.2237	0.63	19250	0.3794	0.2155	0.0877
0.255	0.64	19500	0.3770	0.2079	0.0840
0.1899	0.64	19750	0.3796	0.2145	0.0868
0.2793	0.65	20000	0.3784	0.2145	0.0863
0.2099	0.66	20250	0.3956	0.2161	0.0875
0.22	0.67	20500	0.3804	0.2135	0.0875
0.2213	0.68	20750	0.3803	0.2100	0.0849
0.245	0.68	21000	0.3783	0.2142	0.0870
0.2188	0.69	21250	0.3873	0.2163	0.0861
0.2613	0.7	21500	0.3646	0.2105	0.0844
0.1907	0.71	21750	0.3830	0.2101	0.0853
0.2095	0.72	22000	0.3794	0.2087	0.0849
0.2319	0.73	22250	0.3548	0.2087	0.0842
0.2049	0.73	22500	0.3782	0.2075	0.0837
0.2248	0.74	22750	0.3736	0.2100	0.0845
0.2277	0.75	23000	0.3712	0.2105	0.0845
0.2115	0.76	23250	0.3722	0.2124	0.0859
0.2001	0.77	23500	0.3602	0.2072	0.0832
0.2095	0.77	23750	0.3607	0.2106	0.0851
0.2286	0.78	24000	0.3810	0.2132	0.0876
0.2284	0.79	24250	0.3677	0.2066	0.0847
0.2003	0.8	24500	0.3650	0.2098	0.0847
0.1992	0.81	24750	0.3491	0.2019	0.0813
0.224	0.81	25000	0.3602	0.2043	0.0825
0.2181	0.82	25250	0.3712	0.2120	0.0867
0.2226	0.83	25500	0.3657	0.2028	0.0830
0.1912	0.84	25750	0.3662	0.2076	0.0846
0.2283	0.85	26000	0.3505	0.2049	0.0825
0.2068	0.86	26250	0.3622	0.2111	0.0852
0.2444	0.86	26500	0.3660	0.2055	0.0840
0.2055	0.87	26750	0.3625	0.2055	0.0830
0.2074	0.88	27000	0.3566	0.1981	0.0812
0.2019	0.89	27250	0.3537	0.2038	0.0822
0.2174	0.9	27500	0.3664	0.1990	0.0809
0.2009	0.9	27750	0.3512	0.2035	0.0821
0.211	0.91	28000	0.3707	0.2068	0.0846
0.2541	0.92	28250	0.3435	0.1992	0.0812
0.2108	0.93	28500	0.3461	0.2046	0.0828
0.2274	0.94	28750	0.3364	0.1998	0.0812
0.2175	0.95	29000	0.3742	0.2113	0.0864
0.2368	0.95	29250	0.3431	0.2051	0.0833
0.1831	0.96	29500	0.3468	0.2034	0.0825
0.2202	0.97	29750	0.3342	0.1964	0.0791
0.183	0.98	30000	0.3413	0.1966	0.0792
0.1958	0.99	30250	0.3466	0.1991	0.0809
0.2167	0.99	30500	0.3530	0.2024	0.0816
0.2057	1.0	30750	0.3334	0.1960	0.0788
0.1982	1.01	31000	0.3312	0.1951	0.0789
0.2123	1.02	31250	0.3285	0.1955	0.0785
0.2269	1.03	31500	0.3548	0.2034	0.0812
0.2056	1.03	31750	0.3433	0.1969	0.0793
0.2234	1.04	32000	0.3446	0.1981	0.0805
0.1913	1.05	32250	0.3465	0.1969	0.0792
0.2005	1.06	32500	0.3348	0.1947	0.0784
0.2017	1.07	32750	0.3567	0.1972	0.0796
0.2523	1.08	33000	0.3367	0.1971	0.0801
0.1716	1.08	33250	0.3476	0.1975	0.0799
0.168	1.09	33500	0.3346	0.1951	0.0790
0.1995	1.1	33750	0.3564	0.1971	0.0794
0.198	1.11	34000	0.3409	0.1988	0.0796
0.1801	1.12	34250	0.3303	0.1995	0.0798
0.181	1.12	34500	0.3363	0.1967	0.0794
0.1966	1.13	34750	0.3375	0.1947	0.0784
0.2163	1.14	35000	0.3441	0.2011	0.0810
0.2285	1.15	35250	0.3303	0.1972	0.0801
0.1814	1.16	35500	0.3462	0.1895	0.0772
0.2127	1.17	35750	0.3393	0.1904	0.0775
0.1795	1.17	36000	0.3374	0.1928	0.0780
0.2062	1.18	36250	0.3286	0.1929	0.0783
0.172	1.19	36500	0.3334	0.1929	0.0781
0.1534	1.2	36750	0.3287	0.1895	0.0763
0.2101	1.21	37000	0.3261	0.1888	0.0764
0.2342	1.21	37250	0.3413	0.2007	0.0812
0.1692	1.22	37500	0.3375	0.1932	0.0780
0.165	1.23	37750	0.3220	0.1903	0.0767
0.2067	1.24	38000	0.3212	0.1855	0.0754
0.1984	1.25	38250	0.3339	0.1890	0.0762
0.2117	1.25	38500	0.3224	0.1900	0.0761
0.2036	1.26	38750	0.3410	0.1923	0.0790
0.2072	1.27	39000	0.3291	0.1904	0.0770
0.1962	1.28	39250	0.3237	0.1908	0.0770
0.2055	1.29	39500	0.3260	0.1896	0.0767
0.1753	1.3	39750	0.3375	0.1915	0.0777
0.1983	1.3	40000	0.3236	0.1850	0.0750
0.173	1.31	40250	0.3253	0.1870	0.0754
0.1773	1.32	40500	0.3316	0.1923	0.0766
0.1649	1.33	40750	0.3218	0.1842	0.0749
0.1806	1.34	41000	0.3161	0.1907	0.0769
0.1639	1.34	41250	0.3293	0.1898	0.0773
0.1733	1.35	41500	0.3148	0.1881	0.0756
0.1603	1.36	41750	0.3137	0.1851	0.0748
0.1753	1.37	42000	0.3100	0.1857	0.0751
0.1823	1.38	42250	0.3170	0.1821	0.0740
0.1647	1.39	42500	0.3210	0.1863	0.0758
0.1699	1.39	42750	0.3151	0.1861	0.0761
0.1693	1.4	43000	0.3184	0.1800	0.0730
0.1885	1.41	43250	0.3089	0.1830	0.0739
0.1626	1.42	43500	0.3203	0.1852	0.0746
0.1707	1.43	43750	0.3263	0.1834	0.0745
0.1997	1.43	44000	0.3092	0.1807	0.0732
0.1568	1.44	44250	0.3096	0.1828	0.0742
0.1698	1.45	44500	0.3142	0.1826	0.0736
0.165	1.46	44750	0.3205	0.1903	0.0765
0.1834	1.47	45000	0.3226	0.1855	0.0750
0.1614	1.47	45250	0.3141	0.1825	0.0737
0.1794	1.48	45500	0.3100	0.1823	0.0734
0.1838	1.49	45750	0.2988	0.1825	0.0732
0.1678	1.5	46000	0.3061	0.1797	0.0726
0.1691	1.51	46250	0.3192	0.1821	0.0743
0.1743	1.52	46500	0.3133	0.1815	0.0736
0.1666	1.52	46750	0.3034	0.1821	0.0731
0.1903	1.53	47000	0.3016	0.1792	0.0721
0.2236	1.54	47250	0.3137	0.1819	0.0739
0.1469	1.55	47500	0.3092	0.1796	0.0725
0.175	1.56	47750	0.3009	0.1753	0.0715
0.1578	1.56	48000	0.3023	0.1778	0.0717
0.1998	1.57	48250	0.3059	0.1816	0.0726
0.1887	1.58	48500	0.3063	0.1791	0.0720
0.1635	1.59	48750	0.3027	0.1786	0.0722
0.2074	1.6	49000	0.3001	0.1756	0.0708
0.1719	1.61	49250	0.2957	0.1788	0.0718
0.1654	1.61	49500	0.3020	0.1795	0.0721
0.1572	1.62	49750	0.3011	0.1769	0.0710
0.177	1.63	50000	0.2929	0.1783	0.0712
0.1771	1.64	50250	0.3082	0.1812	0.0722
0.1796	1.65	50500	0.2946	0.1781	0.0713
0.1585	1.65	50750	0.3107	0.1819	0.0733
0.1815	1.66	51000	0.3073	0.1775	0.0721
0.1601	1.67	51250	0.3020	0.1734	0.0701
0.1769	1.68	51500	0.3063	0.1771	0.0710
0.1786	1.69	51750	0.3014	0.1766	0.0703
0.1743	1.69	52000	0.3096	0.1767	0.0710
0.1864	1.7	52250	0.3063	0.1802	0.0720
0.1399	1.71	52500	0.3094	0.1773	0.0718
0.1678	1.72	52750	0.3073	0.1796	0.0724
0.1497	1.73	53000	0.2959	0.1753	0.0701
0.1565	1.74	53250	0.2955	0.1729	0.0690
0.1942	1.74	53500	0.2926	0.1742	0.0693
0.1848	1.75	53750	0.2897	0.1721	0.0686
0.1664	1.76	54000	0.2951	0.1787	0.0708
0.1296	1.77	54250	0.2899	0.1705	0.0679
0.1763	1.78	54500	0.2877	0.1725	0.0686
0.1627	1.78	54750	0.2959	0.1735	0.0697
0.1433	1.79	55000	0.2952	0.1729	0.0693
0.1632	1.8	55250	0.2829	0.1728	0.0686
0.1837	1.81	55500	0.2840	0.1734	0.0688
0.146	1.82	55750	0.2855	0.1686	0.0675
0.1862	1.83	56000	0.2845	0.1721	0.0691
0.1576	1.83	56250	0.2917	0.1762	0.0703
0.1183	1.84	56500	0.2828	0.1713	0.0687
0.1582	1.85	56750	0.2910	0.1708	0.0684
0.1699	1.86	57000	0.2927	0.1733	0.0693
0.1761	1.87	57250	0.2812	0.1687	0.0671
0.1421	1.87	57500	0.2869	0.1699	0.0683
0.1662	1.88	57750	0.2913	0.1748	0.0697
0.151	1.89	58000	0.2984	0.1736	0.0692
0.1513	1.9	58250	0.2862	0.1715	0.0683
0.165	1.91	58500	0.2808	0.1691	0.0675
0.1391	1.91	58750	0.2848	0.1696	0.0676
0.1297	1.92	59000	0.2837	0.1666	0.0666
0.1398	1.93	59250	0.2771	0.1682	0.0673
0.1356	1.94	59500	0.2868	0.1710	0.0686
0.1552	1.95	59750	0.2817	0.1707	0.0687
0.1697	1.96	60000	0.2901	0.1691	0.0673
0.1545	1.96	60250	0.2796	0.1671	0.0668
0.1598	1.97	60500	0.2791	0.1655	0.0664
0.147	1.98	60750	0.2775	0.1673	0.0665
0.1658	1.99	61000	0.2742	0.1681	0.0665
0.1501	2.0	61250	0.2811	0.1702	0.0676
0.1428	2.0	61500	0.2827	0.1669	0.0665
0.1107	2.01	61750	0.2854	0.1649	0.0664
0.1176	2.02	62000	0.2881	0.1650	0.0661
0.1032	2.03	62250	0.2706	0.1647	0.0657
0.1229	2.04	62500	0.2806	0.1678	0.0666
0.1397	2.05	62750	0.2799	0.1634	0.0654
0.1182	2.05	63000	0.2799	0.1653	0.0662
0.1294	2.06	63250	0.2746	0.1635	0.0656
0.1358	2.07	63500	0.2738	0.1643	0.0653
0.1464	2.08	63750	0.2793	0.1662	0.0664
0.1362	2.09	64000	0.2738	0.1635	0.0650
0.1264	2.09	64250	0.2795	0.1653	0.0666
0.1189	2.1	64500	0.2792	0.1657	0.0658
0.1157	2.11	64750	0.2754	0.1619	0.0648
0.1232	2.12	65000	0.2798	0.1627	0.0646
0.1209	2.13	65250	0.2723	0.1623	0.0654
0.1079	2.13	65500	0.2769	0.1611	0.0644
0.1217	2.14	65750	0.2694	0.1604	0.0642
0.1207	2.15	66000	0.2758	0.1608	0.0645
0.1515	2.16	66250	0.2691	0.1634	0.0654
0.1145	2.17	66500	0.2770	0.1623	0.0651
0.1752	2.18	66750	0.2696	0.1603	0.0642
0.1366	2.18	67000	0.2725	0.1610	0.0647
0.1171	2.19	67250	0.2734	0.1615	0.0647
0.1429	2.2	67500	0.2748	0.1602	0.0644
0.1329	2.21	67750	0.2727	0.1593	0.0643
0.1126	2.22	68000	0.2734	0.1603	0.0645
0.117	2.22	68250	0.2803	0.1632	0.0655
0.1109	2.23	68500	0.2748	0.1589	0.0644
0.1296	2.24	68750	0.2749	0.1594	0.0640
0.1506	2.25	69000	0.2680	0.1582	0.0633
0.1282	2.26	69250	0.2664	0.1587	0.0638
0.0987	2.27	69500	0.2700	0.1593	0.0638
0.1288	2.27	69750	0.2726	0.1582	0.0636
0.1022	2.28	70000	0.2744	0.1577	0.0636
0.1102	2.29	70250	0.2672	0.1586	0.0636
0.1165	2.3	70500	0.2677	0.1569	0.0632
0.1289	2.31	70750	0.2700	0.1558	0.0628
0.1144	2.31	71000	0.2780	0.1585	0.0637
0.1092	2.32	71250	0.2687	0.1561	0.0629
0.1126	2.33	71500	0.2733	0.1553	0.0623
0.1231	2.34	71750	0.2712	0.1568	0.0630
0.1302	2.35	72000	0.2638	0.1548	0.0622
0.1104	2.35	72250	0.2671	0.1561	0.0632
0.1076	2.36	72500	0.2636	0.1552	0.0623
0.1193	2.37	72750	0.2650	0.1580	0.0633
0.1163	2.38	73000	0.2624	0.1555	0.0621
0.1108	2.39	73250	0.2667	0.1552	0.0622
0.0903	2.4	73500	0.2643	0.1555	0.0626
0.1388	2.4	73750	0.2674	0.1546	0.0623
0.1069	2.41	74000	0.2621	0.1553	0.0623
0.1054	2.42	74250	0.2567	0.1549	0.0617
0.1151	2.43	74500	0.2625	0.1538	0.0617
0.1304	2.44	74750	0.2588	0.1537	0.0616
0.1102	2.44	75000	0.2598	0.1533	0.0617
0.0926	2.45	75250	0.2592	0.1529	0.0612
0.118	2.46	75500	0.2565	0.1542	0.0614
0.1027	2.47	75750	0.2603	0.1520	0.0611
0.1084	2.48	76000	0.2603	0.1529	0.0611
0.1077	2.49	76250	0.2572	0.1519	0.0610
0.1033	2.49	76500	0.2595	0.1518	0.0608
0.1071	2.5	76750	0.2562	0.1515	0.0607
0.1012	2.51	77000	0.2537	0.1521	0.0609
0.1257	2.52	77250	0.2572	0.1521	0.0612
0.1096	2.53	77500	0.2549	0.1518	0.0606
0.1169	2.53	77750	0.2589	0.1538	0.0614
0.1136	2.54	78000	0.2558	0.1520	0.0607
0.1137	2.55	78250	0.2600	0.1539	0.0611
0.0968	2.56	78500	0.2600	0.1523	0.0610
0.0982	2.57	78750	0.2598	0.1515	0.0607
0.085	2.57	79000	0.2534	0.1499	0.0601
0.1193	2.58	79250	0.2550	0.1506	0.0601
0.1096	2.59	79500	0.2519	0.1499	0.0601
0.1132	2.6	79750	0.2518	0.1516	0.0603
0.1119	2.61	80000	0.2494	0.1511	0.0600
0.1005	2.62	80250	0.2483	0.1492	0.0596
0.1098	2.62	80500	0.2544	0.1507	0.0601
0.1052	2.63	80750	0.2537	0.1486	0.0595
0.13	2.64	81000	0.2505	0.1499	0.0596
0.1104	2.65	81250	0.2487	0.1492	0.0594
0.1168	2.66	81500	0.2461	0.1500	0.0596
0.1198	2.66	81750	0.2496	0.1504	0.0597
0.0936	2.67	82000	0.2556	0.1496	0.0598
0.1235	2.68	82250	0.2537	0.1501	0.0599
0.0952	2.69	82500	0.2525	0.1504	0.0599
0.1014	2.7	82750	0.2470	0.1505	0.0599
0.1178	2.71	83000	0.2506	0.1487	0.0596
0.0969	2.71	83250	0.2487	0.1482	0.0592
0.1192	2.72	83500	0.2469	0.1483	0.0592
0.0978	2.73	83750	0.2510	0.1490	0.0595
0.1053	2.74	84000	0.2496	0.1487	0.0595
0.106	2.75	84250	0.2481	0.1494	0.0594
0.1217	2.75	84500	0.2482	0.1493	0.0592
0.103	2.76	84750	0.2475	0.1485	0.0591
0.1424	2.77	85000	0.2466	0.1476	0.0590
0.116	2.78	85250	0.2488	0.1484	0.0593
0.098	2.79	85500	0.2509	0.1488	0.0596
0.1101	2.79	85750	0.2488	0.1482	0.0594
0.1068	2.8	86000	0.2480	0.1479	0.0591
0.0929	2.81	86250	0.2477	0.1476	0.0590
0.1142	2.82	86500	0.2471	0.1472	0.0589
0.1144	2.83	86750	0.2451	0.1467	0.0585
0.1115	2.84	87000	0.2464	0.1474	0.0588
0.1415	2.84	87250	0.2428	0.1467	0.0585
0.084	2.85	87500	0.2459	0.1465	0.0583
0.1198	2.86	87750	0.2452	0.1477	0.0587
0.1228	2.87	88000	0.2420	0.1472	0.0584
0.1063	2.88	88250	0.2462	0.1469	0.0586
0.1313	2.88	88500	0.2415	0.1464	0.0582
0.1081	2.89	88750	0.2421	0.1458	0.0580
0.0984	2.9	89000	0.2452	0.1464	0.0584
0.0934	2.91	89250	0.2428	0.1466	0.0584
0.0964	2.92	89500	0.2437	0.1456	0.0581
0.1113	2.93	89750	0.2442	0.1461	0.0583
0.1082	2.93	90000	0.2432	0.1455	0.0581
0.1147	2.94	90250	0.2417	0.1452	0.0580
0.0896	2.95	90500	0.2442	0.1459	0.0582
0.1169	2.96	90750	0.2433	0.1456	0.0582
0.0968	2.97	91000	0.2439	0.1456	0.0581
0.0888	2.97	91250	0.2435	0.1454	0.0580
0.1278	2.98	91500	0.2427	0.1457	0.0581
0.1234	2.99	91750	0.2425	0.1455	0.0580
0.0922	3.0	92000	0.2427	0.1455	0.0580

Framework versions

• Transformers 4.37.0.dev0
• Pytorch 2.1.0+cu121
• Datasets 2.16.1
• Tokenizers 0.15.0