2%|████▏ | 99/4000 [14:06<9:21:35, 8.64s/it] 5%|████████▍ | 200/4000 [28:10<7:06:04, 6.73s/it] 8%|████████████▌ | 300/4000 [42:26<10:16:04, 9.99s/it] 10%|████████████████▊ | 400/4000 [56:21<6:27:47, 6.46s/it] 12%|████████████████████▋ | 499/4000 [1:10:28<8:30:56, 8.76s/it] 12%|████████████████████▊ | 500/4000 [1:10:41<9:43:20, 10.00s/it]The following columns in the evaluation set don't have a corresponding argument in `Wav2Vec2ForCTC.forward` and have been ignored: input_length. ***** Running Evaluation ***** Num examples = 2613 Batch size = 72 Configuration saved in ./checkpoint-500/config.json {'eval_loss': 0.3643854558467865, 'eval_wer': 0.45679051483641897, 'eval_runtime': 133.0426, 'eval_samples_per_second': 19.64, 'eval_steps_per_second': 0.278, 'epoch': 12.5} Model weights saved in ./checkpoint-500/pytorch_model.bin Configuration saved in ./checkpoint-500/preprocessor_config.json Configuration saved in ./preprocessor_config.json 15%|████████████████████████▉ | 600/4000 [1:27:12<6:07:08, 6.48s/it] 17%|█████████████████████████████ | 699/4000 [1:41:16<8:02:44, 8.77s/it] 20%|█████████████████████████████████▏ | 800/4000 [1:55:21<5:47:10, 6.51s/it] 22%|█████████████████████████████████████▎ | 900/4000 [2:09:28<8:31:30, 9.90s/it] 25%|█████████████████████████████████████████▍ | 999/4000 [2:23:11<6:39:09, 7.98s/it] 25%|█████████████████████████████████████████▎ | 1000/4000 [2:23:15<5:31:38, 6.63s/it]The following columns in the evaluation set don't have a corresponding argument in `Wav2Vec2ForCTC.forward` and have been ignored: input_length. ***** Running Evaluation ***** Num examples = 2613 Batch size = 72 Configuration saved in ./checkpoint-1000/config.json {'eval_loss': 0.4216161072254181, 'eval_wer': 0.4414151661171697, 'eval_runtime': 131.8019, 'eval_samples_per_second': 19.825, 'eval_steps_per_second': 0.281, 'epoch': 25.0} Model weights saved in ./checkpoint-1000/pytorch_model.bin Configuration saved in ./checkpoint-1000/preprocessor_config.json Configuration saved in ./preprocessor_config.json Deleting older checkpoint [checkpoint-500] due to args.save_total_limit 28%|█████████████████████████████████████████████▍ | 1100/4000 [2:40:48<7:57:31, 9.88s/it] 30%|█████████████████████████████████████████████████▍ | 1199/4000 [2:54:36<6:15:16, 8.04s/it] 32%|█████████████████████████████████████████████████████▋ | 1300/4000 [3:08:53<7:22:27, 9.83s/it] 35%|█████████████████████████████████████████████████████████▋ | 1399/4000 [3:22:41<5:39:48, 7.84s/it] 38%|█████████████████████████████████████████████████████████████▉ | 1500/4000 [3:36:55<6:49:40, 9.83s/it]The following columns in the evaluation set don't have a corresponding argument in `Wav2Vec2ForCTC.forward` and have been ignored: input_length. ***** Running Evaluation ***** Num examples = 2613 Batch size = 72 {'loss': 0.1601, 'learning_rate': 0.0008120956604474414, 'epoch': 37.5} Configuration saved in ./checkpoint-1500/config.json {'eval_loss': 0.4490557909011841, 'eval_wer': 0.429527009890946, 'eval_runtime': 132.5526, 'eval_samples_per_second': 19.713, 'eval_steps_per_second': 0.279, 'epoch': 37.5} Model weights saved in ./checkpoint-1500/pytorch_model.bin Configuration saved in ./checkpoint-1500/preprocessor_config.json Configuration saved in ./preprocessor_config.json Adding files tracked by Git LFS: ['wandb/run-20220202_014046-gq6zg0t4/run-gq6zg0t4.wandb']. This may take a bit of time if the files are large. 02/02/2022 05:20:47 - WARNING - huggingface_hub.repository - Adding files tracked by Git LFS: ['wandb/run-20220202_014046-gq6zg0t4/run-gq6zg0t4.wandb']. This may take a bit of time if the files are large. Deleting older checkpoint [checkpoint-1000] due to args.save_total_limit 40%|█████████████████████████████████████████████████████████████████▉ | 1599/4000 [3:54:03<5:14:41, 7.86s/it] 42%|██████████████████████████████████████████████████████████████████████▏ | 1700/4000 [4:08:22<6:18:18, 9.87s/it] 45%|██████████████████████████████████████████████████████████████████████████▏ | 1799/4000 [4:22:10<4:47:21, 7.83s/it] 48%|██████████████████████████████████████████████████████████████████████████████▍ | 1900/4000 [4:36:26<5:38:56, 9.68s/it] 50%|██████████████████████████████████████████████████████████████████████████████████▌ | 2000/4000 [4:50:11<3:40:20, 6.61s/it]The following columns in the evaluation set don't have a corresponding argument in `Wav2Vec2ForCTC.forward` and have been ignored: input_length. ***** Running Evaluation ***** Num examples = 2613 Batch size = 72 {'loss': 0.1259, 'learning_rate': 0.000611697968722942, 'epoch': 50.0} Configuration saved in ./checkpoint-2000/config.json {'eval_loss': 0.4587898552417755, 'eval_wer': 0.39795206695409585, 'eval_runtime': 131.4786, 'eval_samples_per_second': 19.874, 'eval_steps_per_second': 0.281, 'epoch': 50.0} Model weights saved in ./checkpoint-2000/pytorch_model.bin Configuration saved in ./checkpoint-2000/preprocessor_config.json Configuration saved in ./preprocessor_config.json Deleting older checkpoint [checkpoint-1500] due to args.save_total_limit 52%|██████████████████████████████████████████████████████████████████████████████████████▌ | 2099/4000 [5:07:33<4:38:22, 8.79s/it] 55%|██████████████████████████████████████████████████████████████████████████████████████████▊ | 2200/4000 [5:21:37<3:16:10, 6.54s/it] 57%|██████████████████████████████████████████████████████████████████████████████████████████████▊ | 2300/4000 [5:35:50<4:39:26, 9.86s/it] 60%|██████████████████████████████████████████████████████████████████████████████████████████████████▉ | 2399/4000 [5:49:36<3:26:20, 7.73s/it] 62%|███████████████████████████████████████████████████████████████████████████████████████████████████████ | 2499/4000 [6:03:41<3:36:08, 8.64s/it] 62%|███████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 2500/4000 [6:03:53<4:06:19, 9.85s/it]The following columns in the evaluation set don't have a corresponding argument in `Wav2Vec2ForCTC.forward` and have been ignored: input_length. ***** Running Evaluation ***** Num examples = 2613 Batch size = 72 Configuration saved in ./checkpoint-2500/config.json {'eval_loss': 0.4653233289718628, 'eval_wer': 0.38806112097387774, 'eval_runtime': 132.7207, 'eval_samples_per_second': 19.688, 'eval_steps_per_second': 0.279, 'epoch': 62.5} Model weights saved in ./checkpoint-2500/pytorch_model.bin Configuration saved in ./checkpoint-2500/preprocessor_config.json Configuration saved in ./preprocessor_config.json Deleting older checkpoint [checkpoint-2000] due to args.save_total_limit 65%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 2599/4000 [6:21:08<3:04:07, 7.89s/it] 68%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 2700/4000 [6:35:26<3:35:47, 9.96s/it] 70%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 2799/4000 [6:49:17<2:37:06, 7.85s/it] 72%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 2900/4000 [7:03:38<3:01:34, 9.90s/it] 75%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 2999/4000 [7:17:28<2:12:05, 7.92s/it] 75%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 3000/4000 [7:17:31<1:49:11, 6.55s/it]The following columns in the evaluation set don't have a corresponding argument in `Wav2Vec2ForCTC.forward` and have been ignored: input_length. ***** Running Evaluation ***** Num examples = 2613 Batch size = 72 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 37/37 [02:07<00:00, 2.08s/it] Configuration saved in ./checkpoint-3000/config.json Model weights saved in ./checkpoint-3000/pytorch_model.bin Configuration saved in ./checkpoint-3000/preprocessor_config.json Configuration saved in ./preprocessor_config.json Deleting older checkpoint [checkpoint-2500] due to args.save_total_limit 77%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 3099/4000 [7:34:49<2:09:43, 8.64s/it] 80%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 3199/4000 [7:48:44<1:44:57, 7.86s/it] 82%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 3299/4000 [8:02:43<1:42:03, 8.73s/it] 85%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 3399/4000 [8:16:36<1:19:20, 7.92s/it] 88%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 3500/4000 [8:30:46<1:21:58, 9.84s/it]The following columns in the evaluation set don't have a corresponding argument in `Wav2Vec2ForCTC.forward` and have been ignored: input_length. ***** Running Evaluation ***** Num examples = 2613 Batch size = 72 {'loss': 0.0626, 'learning_rate': 4.9710474062988955e-05, 'epoch': 87.5} 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 37/37 [02:05<00:00, 2.05s/it] Configuration saved in ./checkpoint-3500/config.json Model weights saved in ./checkpoint-3500/pytorch_model.bin Configuration saved in ./checkpoint-3500/preprocessor_config.json Configuration saved in ./preprocessor_config.json Deleting older checkpoint [checkpoint-3000] due to args.save_total_limit 90%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 3599/4000 [8:47:55<52:22, 7.84s/it] 92%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 3699/4000 [9:01:55<43:39, 8.70s/it] 95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 3799/4000 [9:15:51<27:27, 8.20s/it] 97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 3899/4000 [9:29:51<14:27, 8.59s/it] 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉| 3999/4000 [9:43:48<00:07, 7.93s/it] 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4000/4000 [9:43:52<00:00, 6.64s/it]The following columns in the evaluation set don't have a corresponding argument in `Wav2Vec2ForCTC.forward` and have been ignored: input_length. ***** Running Evaluation ***** Num examples = 2613 Batch size = 72 Configuration saved in ./checkpoint-4000/config.json {'eval_loss': 0.47282761335372925, 'eval_wer': 0.34558077605883847, 'eval_runtime': 131.8106, 'eval_samples_per_second': 19.824, 'eval_steps_per_second': 0.281, 'epoch': 100.0} Model weights saved in ./checkpoint-4000/pytorch_model.bin Configuration saved in ./checkpoint-4000/preprocessor_config.json Configuration saved in ./preprocessor_config.json Deleting older checkpoint [checkpoint-3500] due to args.save_total_limit Training completed. Do not forget to share your model on huggingface.co/models =) 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4000/4000 [9:47:11<00:00, 8.81s/it] Saving model checkpoint to ./ Configuration saved in ./config.json {'train_runtime': 35232.701, 'train_samples_per_second': 16.224, 'train_steps_per_second': 0.114, 'train_loss': 0.3454266402721405, 'epoch': 100.0} Model weights saved in ./pytorch_model.bin Configuration saved in ./preprocessor_config.json The following columns in the evaluation set don't have a corresponding argument in `Wav2Vec2ForCTC.forward` and have been ignored: input_length. ***** Running Evaluation ***** Num examples = 2613 Batch size = 72 ***** train metrics ***** epoch = 100.0 train_loss = 0.3454 train_runtime = 9:47:12.70 train_samples = 5716 train_samples_per_second = 16.224 train_steps_per_second = 0.114 02/02/2022 11:28:05 - INFO - __main__ - *** Evaluate *** 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 37/37 [02:07<00:00, 2.10s/it] ***** eval metrics ***** epoch = 100.0 eval_loss = 0.4728 eval_runtime = 0:02:13.61 eval_samples = 2613 eval_samples_per_second = 19.555 eval_steps_per_second = 0.277 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 37/37 [02:09<00:00, 3.51s/it] Saving model checkpoint to ./ Configuration saved in ./config.json Model weights saved in ./pytorch_model.bin Configuration saved in ./preprocessor_config.json 02/02/2022 11:30:41 - WARNING - huggingface_hub.repository - Several commits (2) will be pushed upstream. 02/02/2022 11:30:41 - WARNING - huggingface_hub.repository - The progress bars may be unreliable. Several commits (2) will be pushed upstream. The progress bars may be unreliable. Upload file pytorch_model.bin: 0%| | 32.0k/1.18G [00:00 main (failed to update ref)': is at 82746b5ed32ee2d35a1147a5241c0ef0ed81f070 but expected c958cf3c0c1bd910501206e227ba7810e9addf18 ██████| 27.8M/27.8M [07:20<00:00, 11.0kB/s] ! [remote rejected] main -> main (failed to update ref)': is at 82746b5ed32ee2d35a1147a5241c0ef0ed81f070 but expected c958cf3c0c1bd910501206e227ba7810e9addf18 ██████| 27.8M/27.8M [07:20<00:00, 11.0kB/s] 02/02/2022 11:38:04 - WARNING - huggingface_hub.repository - remote: error: cannot lock ref 'refs/heads/main': is at 82746b5ed32ee2d35a1147a5241c0ef0ed81f070 but expected c958cf3c0c1bd910501206e227ba7810e9addf18 To https://huggingface.co/shpotes/xls-r-et-cv_8_0 ! [remote rejected] main -> main (failed to update ref) error: failed to push some refs to 'https://huggingface.co/shpotes/xls-r-et-cv_8_0' ! [remote rejected] main -> main (failed to update ref)': is at 82746b5ed32ee2d35a1147a5241c0ef0ed81f070 but expected c958cf3c0c1bd910501206e227ba7810e9addf18 ██████| 27.8M/27.8M [07:20<00:00, 11.0kB/s]