|
{ |
|
"best_metric": null, |
|
"best_model_checkpoint": null, |
|
"epoch": 3.3333333333333335, |
|
"eval_steps": 500, |
|
"global_step": 50, |
|
"is_hyper_param_search": false, |
|
"is_local_process_zero": true, |
|
"is_world_process_zero": true, |
|
"log_history": [ |
|
{ |
|
"epoch": 0.3333333333333333, |
|
"grad_norm": 2.3431689739227295, |
|
"learning_rate": 2e-05, |
|
"loss": 1.4244, |
|
"mean_token_accuracy": 0.6533483505249024, |
|
"step": 5 |
|
}, |
|
{ |
|
"epoch": 0.6666666666666666, |
|
"grad_norm": 1.3162345886230469, |
|
"learning_rate": 1.9396926207859085e-05, |
|
"loss": 0.8059, |
|
"mean_token_accuracy": 0.7710338115692139, |
|
"step": 10 |
|
}, |
|
{ |
|
"epoch": 1.0, |
|
"grad_norm": 1.3825139999389648, |
|
"learning_rate": 1.766044443118978e-05, |
|
"loss": 0.7155, |
|
"mean_token_accuracy": 0.7817506909370422, |
|
"step": 15 |
|
}, |
|
{ |
|
"epoch": 1.3333333333333333, |
|
"grad_norm": 1.2070649862289429, |
|
"learning_rate": 1.5000000000000002e-05, |
|
"loss": 0.515, |
|
"mean_token_accuracy": 0.8140048146247864, |
|
"step": 20 |
|
}, |
|
{ |
|
"epoch": 1.6666666666666665, |
|
"grad_norm": 1.0796136856079102, |
|
"learning_rate": 1.1736481776669307e-05, |
|
"loss": 0.508, |
|
"mean_token_accuracy": 0.8207547307014466, |
|
"step": 25 |
|
}, |
|
{ |
|
"epoch": 2.0, |
|
"grad_norm": 1.3636045455932617, |
|
"learning_rate": 8.263518223330698e-06, |
|
"loss": 0.4524, |
|
"mean_token_accuracy": 0.8510397672653198, |
|
"step": 30 |
|
}, |
|
{ |
|
"epoch": 2.3333333333333335, |
|
"grad_norm": 0.7634139060974121, |
|
"learning_rate": 5.000000000000003e-06, |
|
"loss": 0.3877, |
|
"mean_token_accuracy": 0.8616405725479126, |
|
"step": 35 |
|
}, |
|
{ |
|
"epoch": 2.6666666666666665, |
|
"grad_norm": 0.9971669316291809, |
|
"learning_rate": 2.339555568810221e-06, |
|
"loss": 0.359, |
|
"mean_token_accuracy": 0.8703584909439087, |
|
"step": 40 |
|
}, |
|
{ |
|
"epoch": 3.0, |
|
"grad_norm": 0.9843636751174927, |
|
"learning_rate": 6.030737921409169e-07, |
|
"loss": 0.4023, |
|
"mean_token_accuracy": 0.8350511193275452, |
|
"step": 45 |
|
}, |
|
{ |
|
"epoch": 3.3333333333333335, |
|
"grad_norm": 0.7454453706741333, |
|
"learning_rate": 0.0, |
|
"loss": 0.3313, |
|
"mean_token_accuracy": 0.8710624217987061, |
|
"step": 50 |
|
}, |
|
{ |
|
"epoch": 3.3333333333333335, |
|
"step": 50, |
|
"total_flos": 3571493896192.0, |
|
"train_loss": 0.5901590967178345, |
|
"train_runtime": 1292.5059, |
|
"train_samples_per_second": 0.309, |
|
"train_steps_per_second": 0.039 |
|
} |
|
], |
|
"logging_steps": 5, |
|
"max_steps": 50, |
|
"num_input_tokens_seen": 0, |
|
"num_train_epochs": 4, |
|
"save_steps": 500, |
|
"stateful_callbacks": { |
|
"TrainerControl": { |
|
"args": { |
|
"should_epoch_stop": false, |
|
"should_evaluate": false, |
|
"should_log": false, |
|
"should_save": false, |
|
"should_training_stop": false |
|
}, |
|
"attributes": {} |
|
} |
|
}, |
|
"total_flos": 3571493896192.0, |
|
"train_batch_size": 1, |
|
"trial_name": null, |
|
"trial_params": null |
|
} |
|
|