Training in progress, step 28000

model.safetensors

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:256dbf5bf7dd51701df4c930521269fc6ebc126a8cfdf26df730c1343e52f8fa
+oid sha256:82a1a72ebe3b3fa47f2603f8a3468cf6eab921472b98fdf7f54588845d4b7aba
 size 3219908024

wandb/run-20231122_100021-qrxr9o47/files/output.log

@@ -1188,3 +1188,1077 @@ Reading metadata...: 1704it [00:00, 2566.26it/s]
 
 
 
+
+ 45%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                       | 27059/60000 [9:11:23<105:53:17, 11.57s/it]
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+ 45%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                       | 27079/60000 [9:14:56<94:47:37, 10.37s/it]
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+ 45%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                       | 27100/60000 [9:18:36<99:13:35, 10.86s/it]
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+ 45%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                       | 27120/60000 [9:22:04<93:32:43, 10.24s/it]
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+ 45%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                      | 27140/60000 [9:25:37<100:35:47, 11.02s/it]
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+ 45%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                       | 27160/60000 [9:29:05<98:39:07, 10.81s/it]
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+ 45%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                      | 27180/60000 [9:33:05<102:12:21, 11.21s/it]
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+ 45%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████���████████████████████████▊                                                                                                                                                                      | 27199/60000 [9:36:57<111:25:10, 12.23s/it]
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+ 45%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                      | 27219/60000 [9:40:27<96:33:59, 10.60s/it]
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+ 45%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                      | 27240/60000 [9:44:09<93:47:02, 10.31s/it]
+
+
+
+
+
+
+
+
+
+Reading metadata...: 2165it [00:00, 12872.24it/s]██████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                      | 27249/60000 [9:45:41<92:54:40, 10.21s/it]
+
+
+
+
+
+
+
+
+
+
+
+ 45%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                      | 27260/60000 [9:47:35<93:19:33, 10.26s/it]
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+ 45%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                     | 27279/60000 [9:51:09<124:05:12, 13.65s/it]
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+ 46%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                      | 27300/60000 [9:54:51<95:55:14, 10.56s/it]
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+ 46%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                      | 27320/60000 [9:58:31<98:32:41, 10.86s/it]
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+ 46%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                     | 27340/60000 [10:02:03<96:28:33, 10.63s/it]
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+ 46%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                     | 27360/60000 [10:05:35<94:59:01, 10.48s/it]
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+ 46%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                     | 27379/60000 [10:08:58<95:05:47, 10.49s/it]
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+ 46%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                     | 27399/60000 [10:12:32<96:44:44, 10.68s/it]
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+ 46%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                     | 27419/60000 [10:16:12<96:27:49, 10.66s/it]
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+ 46%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                     | 27439/60000 [10:19:48<96:01:27, 10.62s/it]
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+ 46%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                    | 27459/60000 [10:23:31<104:43:36, 11.59s/it]
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+ 46%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                    | 27480/60000 [10:27:17<96:42:20, 10.71s/it]
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+ 46%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                    | 27499/60000 [10:30:45<98:27:19, 10.91s/it]
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+ 46%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                    | 27519/60000 [10:34:19<96:37:37, 10.71s/it]
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+ 46%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                    | 27539/60000 [10:37:52<95:27:20, 10.59s/it]
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+ 46%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                   | 27559/60000 [10:41:51<104:12:37, 11.56s/it]
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+ 46%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                   | 27579/60000 [10:45:34<105:34:17, 11.72s/it]
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+ 46%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                    | 27599/60000 [10:49:09<95:44:24, 10.64s/it]
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+ 46%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                    | 27620/60000 [10:53:01<96:15:41, 10.70s/it]
+
+
+
+
+
+
+
+
+
+
+
+
+
+ 46%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████��█████████████████████████                                                                                                                                                                    | 27633/60000 [10:55:19<95:20:13, 10.60s/it]
+
+ 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                    | 27634/60000 [10:55:26<86:23:40,  9.61s/it]
+
+
+
+
+
+ 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                    | 27639/60000 [10:56:14<90:49:12, 10.10s/it]
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+ 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                   | 27659/60000 [10:59:46<94:33:56, 10.53s/it]
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+ 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                   | 27680/60000 [11:03:33<94:36:53, 10.54s/it]
+
+
+
+
+
+
+
+
+
+
+
+Reading metadata...: 1650it [00:01, 1321.68it/s]█████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                   | 27691/60000 [11:05:29<94:20:10, 10.51s/it]
+
+
+
+
+
+
+
+
+
+ 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                   | 27700/60000 [11:07:08<95:48:13, 10.68s/it]
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+ 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                   | 27719/60000 [11:10:28<95:05:10, 10.60s/it]
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+ 46%|██████████████████████████████████████████████████████████████████████████████████��█████████████████████████████████████████████████████████▌                                                                                                                                                                   | 27739/60000 [11:13:58<94:59:49, 10.60s/it]
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+ 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                   | 27759/60000 [11:17:33<98:12:21, 10.97s/it]
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+ 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                  | 27780/60000 [11:21:25<102:40:21, 11.47s/it]
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+ 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                   | 27799/60000 [11:24:46<93:15:47, 10.43s/it]
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+ 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                   | 27819/60000 [11:28:15<93:20:09, 10.44s/it]
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+ 46%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                   | 27839/60000 [11:31:46<93:58:51, 10.52s/it]
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+ 46%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                  | 27859/60000 [11:35:30<96:36:22, 10.82s/it]
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+ 46%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                  | 27880/60000 [11:39:13<95:56:04, 10.75s/it]
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+ 46%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                  | 27900/60000 [11:42:55<97:19:10, 10.91s/it]
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+ 47%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                  | 27920/60000 [11:47:01<101:23:23, 11.38s/it]
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+ 47%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                  | 27940/60000 [11:50:45<95:15:06, 10.70s/it]
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+ 47%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                  | 27960/60000 [11:54:31<92:24:57, 10.38s/it]
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+ 47%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                  | 27980/60000 [11:58:04<96:42:11, 10.87s/it]
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+ 47%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                  | 28000/60000 [12:01:43<97:11:16, 10.93s/it][INFO|trainer.py:3173] 2023-11-22 22:02:11,469 >> ***** Running Evaluation *****
+[INFO|trainer.py:3177] 2023-11-22 22:02:11,470 >>   Num examples: Unknown
+[INFO|trainer.py:3178] 2023-11-22 22:02:11,470 >>   Batch size = 4
+Reading metadata...: 1704it [00:01, 1561.38it/s]
+Reading metadata...: 1it [00:01,  1.06s/it]
+
+[INFO|trainer_utils.py:759] 2023-11-22 22:02:13,693 >> The following columns in the evaluation set don't have a corresponding argument in `WhisperForConditionalGeneration.forward` and have been ignored: age, client_id, locale, gender, accent, up_votes, segment, input_length, down_votes, path. If age, client_id, locale, gender, accent, up_votes, segment, input_length, down_votes, path are not expected by `WhisperForConditionalGeneration.forward`,  you can safely ignore this message.
+ 47%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                  | 28000/60000 [12:13:06<97:11:16, 10.93s/it]
+ 47%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                  | 28000/60000 [12:13:06<97:11:16, 10.93s/it][INFO|trainer.py:2896] 2023-11-22 22:14:03,336 >> Saving model checkpoint to ./checkpoint-28000
+[INFO|configuration_utils.py:462] 2023-11-22 22:14:03,357 >> Configuration saved in ./checkpoint-28000/config.json
+[INFO|configuration_utils.py:568] 2023-11-22 22:14:03,365 >> Configuration saved in ./checkpoint-28000/generation_config.json
+[INFO|modeling_utils.py:2194] 2023-11-22 22:14:49,638 >> Model weights saved in ./checkpoint-28000/pytorch_model.bin
+[INFO|feature_extraction_utils.py:425] 2023-11-22 22:14:49,643 >> Feature extractor saved in ./checkpoint-28000/preprocessor_config.json
+[2023-11-22 22:14:49,676] [INFO] [logging.py:96:log_dist] [Rank 0] [Torch] Checkpoint global_step28000 is about to be saved!
+[2023-11-22 22:14:49,706] [INFO] [logging.py:96:log_dist] [Rank 0] Saving model checkpoint: ./checkpoint-28000/global_step28000/mp_rank_00_model_states.pt
+[2023-11-22 22:14:49,706] [INFO] [torch_checkpoint_engine.py:21:save] [Torch] Saving ./checkpoint-28000/global_step28000/mp_rank_00_model_states.pt...
+[2023-11-22 22:14:58,198] [INFO] [torch_checkpoint_engine.py:23:save] [Torch] Saved ./checkpoint-28000/global_step28000/mp_rank_00_model_states.pt.
+[2023-11-22 22:14:58,211] [INFO] [torch_checkpoint_engine.py:21:save] [Torch] Saving ./checkpoint-28000/global_step28000/zero_pp_rank_0_mp_rank_00_optim_states.pt...
+[2023-11-22 22:15:20,986] [INFO] [torch_checkpoint_engine.py:23:save] [Torch] Saved ./checkpoint-28000/global_step28000/zero_pp_rank_0_mp_rank_00_optim_states.pt.
+[2023-11-22 22:15:20,997] [INFO] [engine.py:3417:_save_zero_checkpoint] zero checkpoint saved ./checkpoint-28000/global_step28000/zero_pp_rank_0_mp_rank_00_optim_states.pt
+[2023-11-22 22:15:20,997] [INFO] [torch_checkpoint_engine.py:33:commit] [Torch] Checkpoint global_step28000 is ready now!
+[INFO|feature_extraction_utils.py:425] 2023-11-22 22:16:32,021 >> Feature extractor saved in ./preprocessor_config.json
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+ 47%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                 | 28020/60000 [12:20:08<127:36:32, 14.36s/it]
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+ 47%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                 | 28039/60000 [12:23:44<100:57:38, 11.37s/it]
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+

wandb/run-20231122_100021-qrxr9o47/files/wandb-summary.json

@@ -1 +1 @@
-{"train/loss": 0.0592, "train/learning_rate": 1.6780677966101696e-06, "train/epoch": 0.45, "train/global_step": 27040, "_timestamp": 1700672885.8311684, "_runtime": 32864.15361738205, "_step": 52, "eval/loss": 0.19091796875, "eval/wer": 8.95212966453072, "eval/runtime": 689.9912, "eval/samples_per_second": 2.47, "eval/steps_per_second": 0.617}
+{"train/loss": 0.0558, "train/learning_rate": 1.6273220338983052e-06, "train/epoch": 0.47, "train/global_step": 28040, "_timestamp": 1700684663.5690522, "_runtime": 44641.89150118828, "_step": 103, "eval/loss": 0.1954345703125, "eval/wer": 8.46211835657746, "eval/runtime": 682.5912, "eval/samples_per_second": 2.496, "eval/steps_per_second": 0.624}

wandb/run-20231122_100021-qrxr9o47/run-qrxr9o47.wandb

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:83a0be6c56b94619c3353d0f5558d25aa4eb59dad7a179876f436f10832e5519
-size 1638874
+oid sha256:8b6770cc3cd214893dea7fdcb14aeaad5aeeb1356ac6133fa6c3864c3a935060
+size 2853963