XLS-R_Finetuned

This model is a fine-tuned version of facebook/wav2vec2-xls-r-300m on the None dataset. It achieves the following results on the evaluation set:

• Loss: 0.2280
• Wer: 0.1725

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 0.00024
• train_batch_size: 1
• eval_batch_size: 8
• seed: 42
• gradient_accumulation_steps: 2
• total_train_batch_size: 2
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• lr_scheduler_warmup_steps: 800
• num_epochs: 25
• mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss	Wer
6.0094	0.32	500	3.5637	1.0
3.3935	0.64	1000	2.6589	1.0
1.5455	0.95	1500	0.7979	0.8225
0.9065	1.27	2000	0.5392	0.6244
0.7891	1.59	2500	0.3554	0.4551
0.7118	1.91	3000	0.3682	0.4608
0.6061	2.23	3500	0.3384	0.4416
0.5536	2.54	4000	0.2987	0.4042
0.547	2.86	4500	0.2892	0.3892
0.4841	3.18	5000	0.2890	0.3690
0.4434	3.5	5500	0.2605	0.3636
0.4542	3.81	6000	0.2932	0.3773
0.4171	4.13	6500	0.2768	0.3550
0.3697	4.45	7000	0.2443	0.3382
0.3776	4.77	7500	0.2572	0.3366
0.3448	5.09	8000	0.2267	0.3006
0.3285	5.4	8500	0.2377	0.3023
0.3165	5.72	9000	0.2344	0.2888
0.3194	6.04	9500	0.2228	0.2699
0.2737	6.36	10000	0.2201	0.2754
0.2986	6.68	10500	0.2413	0.2850
0.2836	6.99	11000	0.2117	0.2629
0.2467	7.31	11500	0.2408	0.2877
0.2577	7.63	12000	0.2134	0.2448
0.2503	7.95	12500	0.2260	0.2600
0.2371	8.26	13000	0.2081	0.2379
0.2303	8.58	13500	0.2322	0.2668
0.213	8.9	14000	0.2339	0.2586
0.2029	9.22	14500	0.2300	0.2704
0.2146	9.54	15000	0.2321	0.2533
0.2044	9.85	15500	0.2393	0.2685
0.2008	10.17	16000	0.2193	0.2467
0.182	10.49	16500	0.2323	0.2611
0.2	10.81	17000	0.2188	0.2537
0.1855	11.13	17500	0.2436	0.2523
0.1745	11.44	18000	0.2351	0.2473
0.1705	11.76	18500	0.2556	0.2663
0.1745	12.08	19000	0.2189	0.2229
0.1641	12.4	19500	0.2192	0.2342
0.1546	12.71	20000	0.2432	0.2228
0.1661	13.03	20500	0.2323	0.2242
0.1436	13.35	21000	0.2554	0.2496
0.1443	13.67	21500	0.2195	0.2026
0.151	13.99	22000	0.2400	0.2201
0.1333	14.3	22500	0.2181	0.2235
0.137	14.62	23000	0.2400	0.2254
0.1303	14.94	23500	0.2265	0.2088
0.1386	15.26	24000	0.2330	0.2152
0.1325	15.58	24500	0.2328	0.2127
0.1227	15.89	25000	0.2375	0.2077
0.1196	16.21	25500	0.2394	0.2144
0.1197	16.53	26000	0.2591	0.2171
0.1122	16.85	26500	0.2383	0.2066
0.1093	17.16	27000	0.2254	0.2042
0.105	17.48	27500	0.2330	0.2008
0.0982	17.8	28000	0.2317	0.1902
0.1072	18.12	28500	0.2332	0.1971
0.1033	18.44	29000	0.2313	0.1923
0.0982	18.75	29500	0.2344	0.1934
0.103	19.07	30000	0.2295	0.1902
0.0945	19.39	30500	0.2352	0.1976
0.0892	19.71	31000	0.2414	0.1920
0.1003	20.03	31500	0.2300	0.1879
0.0861	20.34	32000	0.2215	0.1778
0.0845	20.66	32500	0.2321	0.1866
0.0858	20.98	33000	0.2311	0.1850
0.0785	21.3	33500	0.2341	0.1874
0.0786	21.61	34000	0.2322	0.1916
0.0793	21.93	34500	0.2358	0.1846
0.0772	22.25	35000	0.2234	0.1770
0.0786	22.57	35500	0.2180	0.1758
0.0747	22.89	36000	0.2269	0.1830
0.0734	23.2	36500	0.2320	0.1860
0.067	23.52	37000	0.2324	0.1797
0.0733	23.84	37500	0.2324	0.1772
0.0701	24.16	38000	0.2293	0.1737
0.0691	24.48	38500	0.2303	0.1750
0.0613	24.79	39000	0.2280	0.1725

Framework versions

• Transformers 4.24.0
• Pytorch 1.12.1+cu113
• Datasets 2.6.1
• Tokenizers 0.13.1