6%|███████████▏                                                                                                                                                                                         | 491/8610 [01:29<24:58,  5.42it/s]














































 12%|██████████████████████▋                                                                                                                                                                              | 992/8610 [03:01<23:29,  5.40it/s]














































 17%|█████████████████████████████████▉                                                                                                                                                                  | 1492/8610 [04:34<21:45,  5.45it/s]















































 23%|█████████████████████████████████████████████▌                                                                                                                                                      | 2000/8610 [06:08<25:13,  4.37it/s]














































 29%|████████████████████████████████████████████████████████▉                                                                                                                                           | 2500/8610 [07:40<23:15,  4.38it/s]
 29%|████████████████████████████████████████████████████████▉                                                                                                                                           | 2500/8610 [07:40<23:15,  4.38it/s]Saving model checkpoint to ./resultsV3.2/checkpoint-2500
Configuration saved in ./resultsV3.2/checkpoint-2500/config.json
Model weights saved in ./resultsV3.2/checkpoint-2500/pytorch_model.bin














































 35%|████████████████████████████████████████████████████████████████████▎                                                                                                                               | 3001/8610 [09:14<20:52,  4.48it/s]














































 41%|███████████████████████████████████████████████████████████████████████████████▋                                                                                                                    | 3500/8610 [10:47<19:20,  4.40it/s]














































 46%|███████████████████████████████████████████████████████████████████████████████████████████                                                                                                         | 3999/8610 [12:19<14:11,  5.42it/s]














































 52%|██████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                             | 4499/8610 [13:51<12:39,  5.41it/s]














































 58%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                  | 4998/8610 [15:23<11:07,  5.41it/s]
 58%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                  | 5000/8610 [15:24<13:41,  4.39it/s]Saving model checkpoint to ./resultsV3.2/checkpoint-5000
Configuration saved in ./resultsV3.2/checkpoint-5000/config.json
Model weights saved in ./resultsV3.2/checkpoint-5000/pytorch_model.bin













































 64%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                      | 5499/8610 [16:57<09:35,  5.40it/s]














































 70%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                           | 5998/8610 [18:30<08:01,  5.42it/s]















































 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                               | 6508/8610 [20:04<06:34,  5.32it/s]














































 81%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                    | 7007/8610 [21:36<05:02,  5.30it/s]













































 87%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                         | 7500/8610 [23:07<04:12,  4.40it/s]Saving model checkpoint to ./resultsV3.2/checkpoint-7500
Configuration saved in ./resultsV3.2/checkpoint-7500/config.json
Model weights saved in ./resultsV3.2/checkpoint-7500/pytorch_model.bin
{'loss': 0.0, 'learning_rate': 6.445993031358885e-06, 'epoch': 26.13}














































 93%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏             | 8005/8610 [24:42<01:56,  5.18it/s]














































 99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌  | 8504/8610 [26:15<00:20,  5.05it/s]









100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉| 8609/8610 [26:34<00:00,  5.40it/s]
Training completed. Do not forget to share your model on huggingface.co/models =)
100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 8610/8610 [26:34<00:00,  5.40it/s]
Saving model checkpoint to ./resultsV3.2
Configuration saved in ./resultsV3.2/config.json
Model weights saved in ./resultsV3.2/pytorch_model.bin
tokenizer config file saved in ./resultsV3.2/tokenizer_config.json
Special tokens file saved in ./resultsV3.2/special_tokens_map.json
09/16/2021 17:04:12 - INFO - __main__ -   *** Evaluate ***
***** Running Evaluation *****
  Num examples = 1227
  Batch size = 8
  0%|                                                                                           | 0/154 [00:00<?, ?it/s]



100%|█████████████████████████████████████████████████████████████████████████████████| 154/154 [00:13<00:00, 11.68it/s]
09/16/2021 17:04:25 - INFO - __main__ -   ***** Eval results *****
09/16/2021 17:04:25 - INFO - __main__ -     eval_loss = 0.04912048578262329
09/16/2021 17:04:25 - INFO - __main__ -     eval_precision = 0.8316633266533067
09/16/2021 17:04:25 - INFO - __main__ -     eval_recall = 0.845213849287169
09/16/2021 17:04:25 - INFO - __main__ -     eval_f1 = 0.8383838383838385
09/16/2021 17:04:25 - INFO - __main__ -     eval_runtime = 13.2153
09/16/2021 17:04:25 - INFO - __main__ -     eval_samples_per_second = 92.847
09/16/2021 17:04:25 - INFO - __main__ -     eval_steps_per_second = 11.653
09/16/2021 17:04:25 - INFO - __main__ -     epoch = 30.0
09/16/2021 17:04:25 - INFO - filelock -   Lock 140243600900392 acquired on ./datasets/EpiCustomV3/cached_test_BertTokenizer_192.lock
09/16/2021 17:04:25 - INFO - utils_ner -   Loading features from cached file ./datasets/EpiCustomV3/cached_test_BertTokenizer_192
09/16/2021 17:04:25 - INFO - filelock -   Lock 140243600900392 released on ./datasets/EpiCustomV3/cached_test_BertTokenizer_192.lock
***** Running Prediction *****
  Num examples = 534
  Batch size = 8

 96%|███████████████████████████████████████████████████████████████████████████████▎   | 64/67 [00:01<00:00, 32.07it/s]09/16/2021 17:04:34 - INFO - __main__ -   ***** Test results *****
09/16/2021 17:04:34 - INFO - __main__ -     test_loss = 0.22766412794589996
09/16/2021 17:04:34 - INFO - __main__ -     test_precision = 0.5564853556485355
09/16/2021 17:04:34 - INFO - __main__ -     test_recall = 0.6616915422885572
09/16/2021 17:04:34 - INFO - __main__ -     test_f1 = 0.6045454545454544
09/16/2021 17:04:34 - INFO - __main__ -     test_runtime = 5.7384
09/16/2021 17:04:34 - INFO - __main__ -     test_samples_per_second = 93.057
09/16/2021 17:04:34 - INFO - __main__ -     test_steps_per_second = 11.676
100%|███████████████████████████████████████████████████████████████████████████████████| 67/67 [00:09<00:00,  7.28it/s]