| { | |
| "best_metric": null, | |
| "best_model_checkpoint": null, | |
| "epoch": 1.0, | |
| "eval_steps": 100, | |
| "global_step": 150, | |
| "is_hyper_param_search": false, | |
| "is_local_process_zero": true, | |
| "is_world_process_zero": true, | |
| "log_history": [ | |
| { | |
| "epoch": 0.03333333333333333, | |
| "grad_norm": 18.165170669555664, | |
| "learning_rate": 9.972609476841365e-07, | |
| "loss": 0.7056, | |
| "step": 5 | |
| }, | |
| { | |
| "epoch": 0.06666666666666667, | |
| "grad_norm": 17.16242218017578, | |
| "learning_rate": 9.890738003669027e-07, | |
| "loss": 0.6646, | |
| "step": 10 | |
| }, | |
| { | |
| "epoch": 0.1, | |
| "grad_norm": 21.325637817382812, | |
| "learning_rate": 9.755282581475767e-07, | |
| "loss": 0.6945, | |
| "step": 15 | |
| }, | |
| { | |
| "epoch": 0.13333333333333333, | |
| "grad_norm": 14.320093154907227, | |
| "learning_rate": 9.567727288213004e-07, | |
| "loss": 0.6743, | |
| "step": 20 | |
| }, | |
| { | |
| "epoch": 0.16666666666666666, | |
| "grad_norm": 10.650166511535645, | |
| "learning_rate": 9.330127018922193e-07, | |
| "loss": 0.676, | |
| "step": 25 | |
| }, | |
| { | |
| "epoch": 0.2, | |
| "grad_norm": 13.821106910705566, | |
| "learning_rate": 9.045084971874737e-07, | |
| "loss": 0.6838, | |
| "step": 30 | |
| }, | |
| { | |
| "epoch": 0.23333333333333334, | |
| "grad_norm": 9.151570320129395, | |
| "learning_rate": 8.71572412738697e-07, | |
| "loss": 0.6718, | |
| "step": 35 | |
| }, | |
| { | |
| "epoch": 0.26666666666666666, | |
| "grad_norm": 7.747379302978516, | |
| "learning_rate": 8.34565303179429e-07, | |
| "loss": 0.687, | |
| "step": 40 | |
| }, | |
| { | |
| "epoch": 0.3, | |
| "grad_norm": 9.819681167602539, | |
| "learning_rate": 7.938926261462365e-07, | |
| "loss": 0.6653, | |
| "step": 45 | |
| }, | |
| { | |
| "epoch": 0.3333333333333333, | |
| "grad_norm": 8.698646545410156, | |
| "learning_rate": 7.5e-07, | |
| "loss": 0.6708, | |
| "step": 50 | |
| }, | |
| { | |
| "epoch": 0.36666666666666664, | |
| "grad_norm": 8.188970565795898, | |
| "learning_rate": 7.033683215379002e-07, | |
| "loss": 0.688, | |
| "step": 55 | |
| }, | |
| { | |
| "epoch": 0.4, | |
| "grad_norm": 7.681589603424072, | |
| "learning_rate": 6.545084971874736e-07, | |
| "loss": 0.6833, | |
| "step": 60 | |
| }, | |
| { | |
| "epoch": 0.43333333333333335, | |
| "grad_norm": 7.524262428283691, | |
| "learning_rate": 6.039558454088795e-07, | |
| "loss": 0.6585, | |
| "step": 65 | |
| }, | |
| { | |
| "epoch": 0.4666666666666667, | |
| "grad_norm": 9.614619255065918, | |
| "learning_rate": 5.522642316338268e-07, | |
| "loss": 0.6364, | |
| "step": 70 | |
| }, | |
| { | |
| "epoch": 0.5, | |
| "grad_norm": 12.577666282653809, | |
| "learning_rate": 5e-07, | |
| "loss": 0.6842, | |
| "step": 75 | |
| }, | |
| { | |
| "epoch": 0.5333333333333333, | |
| "grad_norm": 11.13433837890625, | |
| "learning_rate": 4.477357683661733e-07, | |
| "loss": 0.6968, | |
| "step": 80 | |
| }, | |
| { | |
| "epoch": 0.5666666666666667, | |
| "grad_norm": 9.573627471923828, | |
| "learning_rate": 3.960441545911204e-07, | |
| "loss": 0.6679, | |
| "step": 85 | |
| }, | |
| { | |
| "epoch": 0.6, | |
| "grad_norm": 6.869621753692627, | |
| "learning_rate": 3.454915028125263e-07, | |
| "loss": 0.672, | |
| "step": 90 | |
| }, | |
| { | |
| "epoch": 0.6333333333333333, | |
| "grad_norm": 6.626986026763916, | |
| "learning_rate": 2.9663167846209996e-07, | |
| "loss": 0.6644, | |
| "step": 95 | |
| }, | |
| { | |
| "epoch": 0.6666666666666666, | |
| "grad_norm": 7.816995143890381, | |
| "learning_rate": 2.500000000000001e-07, | |
| "loss": 0.6716, | |
| "step": 100 | |
| }, | |
| { | |
| "epoch": 0.6666666666666666, | |
| "eval_accuracy": 0.6770833333333334, | |
| "eval_loss": 0.6615803837776184, | |
| "eval_runtime": 0.6663, | |
| "eval_samples_per_second": 144.07, | |
| "eval_steps_per_second": 9.004, | |
| "step": 100 | |
| }, | |
| { | |
| "epoch": 0.7, | |
| "grad_norm": 7.169824123382568, | |
| "learning_rate": 2.0610737385376348e-07, | |
| "loss": 0.6527, | |
| "step": 105 | |
| }, | |
| { | |
| "epoch": 0.7333333333333333, | |
| "grad_norm": 7.605311393737793, | |
| "learning_rate": 1.6543469682057104e-07, | |
| "loss": 0.661, | |
| "step": 110 | |
| }, | |
| { | |
| "epoch": 0.7666666666666667, | |
| "grad_norm": 8.795389175415039, | |
| "learning_rate": 1.284275872613028e-07, | |
| "loss": 0.644, | |
| "step": 115 | |
| }, | |
| { | |
| "epoch": 0.8, | |
| "grad_norm": 9.404634475708008, | |
| "learning_rate": 9.549150281252632e-08, | |
| "loss": 0.6536, | |
| "step": 120 | |
| }, | |
| { | |
| "epoch": 0.8333333333333334, | |
| "grad_norm": 9.008624076843262, | |
| "learning_rate": 6.698729810778064e-08, | |
| "loss": 0.6744, | |
| "step": 125 | |
| }, | |
| { | |
| "epoch": 0.8666666666666667, | |
| "grad_norm": 8.526646614074707, | |
| "learning_rate": 4.322727117869951e-08, | |
| "loss": 0.6722, | |
| "step": 130 | |
| }, | |
| { | |
| "epoch": 0.9, | |
| "grad_norm": 8.827940940856934, | |
| "learning_rate": 2.4471741852423233e-08, | |
| "loss": 0.6599, | |
| "step": 135 | |
| }, | |
| { | |
| "epoch": 0.9333333333333333, | |
| "grad_norm": 7.812473297119141, | |
| "learning_rate": 1.0926199633097154e-08, | |
| "loss": 0.645, | |
| "step": 140 | |
| }, | |
| { | |
| "epoch": 0.9666666666666667, | |
| "grad_norm": 10.083480834960938, | |
| "learning_rate": 2.739052315863355e-09, | |
| "loss": 0.6633, | |
| "step": 145 | |
| }, | |
| { | |
| "epoch": 1.0, | |
| "grad_norm": 9.186869621276855, | |
| "learning_rate": 0.0, | |
| "loss": 0.6466, | |
| "step": 150 | |
| }, | |
| { | |
| "epoch": 1.0, | |
| "step": 150, | |
| "total_flos": 0.0, | |
| "train_loss": 0.6696457926432292, | |
| "train_runtime": 575.0153, | |
| "train_samples_per_second": 16.687, | |
| "train_steps_per_second": 0.261 | |
| } | |
| ], | |
| "logging_steps": 5, | |
| "max_steps": 150, | |
| "num_input_tokens_seen": 0, | |
| "num_train_epochs": 1, | |
| "save_steps": 500, | |
| "stateful_callbacks": { | |
| "TrainerControl": { | |
| "args": { | |
| "should_epoch_stop": false, | |
| "should_evaluate": false, | |
| "should_log": false, | |
| "should_save": true, | |
| "should_training_stop": true | |
| }, | |
| "attributes": {} | |
| } | |
| }, | |
| "total_flos": 0.0, | |
| "train_batch_size": 2, | |
| "trial_name": null, | |
| "trial_params": null | |
| } | |