{
  "best_metric": null,
  "best_model_checkpoint": null,
  "epoch": 2.96,
  "eval_steps": 500,
  "global_step": 74000,
  "is_hyper_param_search": false,
  "is_local_process_zero": true,
  "is_world_process_zero": true,
  "log_history": [
    {
      "epoch": 0.02,
      "grad_norm": 5654.22607421875,
      "learning_rate": 1.9866666666666667e-05,
      "loss": 38.3177,
      "step": 500
    },
    {
      "epoch": 0.04,
      "grad_norm": 382.0959777832031,
      "learning_rate": 1.9733333333333336e-05,
      "loss": 14.4484,
      "step": 1000
    },
    {
      "epoch": 0.06,
      "grad_norm": 85.02970886230469,
      "learning_rate": 1.9600000000000002e-05,
      "loss": 5.7167,
      "step": 1500
    },
    {
      "epoch": 0.08,
      "grad_norm": 1577.756591796875,
      "learning_rate": 1.9466666666666668e-05,
      "loss": 2.3093,
      "step": 2000
    },
    {
      "epoch": 0.1,
      "grad_norm": 380.84771728515625,
      "learning_rate": 1.9333333333333333e-05,
      "loss": 1.1518,
      "step": 2500
    },
    {
      "epoch": 0.12,
      "grad_norm": 37.97673034667969,
      "learning_rate": 1.9200000000000003e-05,
      "loss": 0.813,
      "step": 3000
    },
    {
      "epoch": 0.14,
      "grad_norm": 18.733734130859375,
      "learning_rate": 1.9066666666666668e-05,
      "loss": 0.7075,
      "step": 3500
    },
    {
      "epoch": 0.16,
      "grad_norm": 12.461844444274902,
      "learning_rate": 1.8933333333333334e-05,
      "loss": 0.6604,
      "step": 4000
    },
    {
      "epoch": 0.18,
      "grad_norm": 60.828468322753906,
      "learning_rate": 1.88e-05,
      "loss": 1.0271,
      "step": 4500
    },
    {
      "epoch": 0.2,
      "grad_norm": 19.229307174682617,
      "learning_rate": 1.866666666666667e-05,
      "loss": 0.9457,
      "step": 5000
    },
    {
      "epoch": 0.22,
      "grad_norm": 114.696044921875,
      "learning_rate": 1.8533333333333334e-05,
      "loss": 0.7605,
      "step": 5500
    },
    {
      "epoch": 0.24,
      "grad_norm": 18.384981155395508,
      "learning_rate": 1.8400000000000003e-05,
      "loss": 0.7159,
      "step": 6000
    },
    {
      "epoch": 0.26,
      "grad_norm": 3.2623910903930664,
      "learning_rate": 1.826666666666667e-05,
      "loss": 0.683,
      "step": 6500
    },
    {
      "epoch": 0.28,
      "grad_norm": 8.435957908630371,
      "learning_rate": 1.8133333333333335e-05,
      "loss": 0.5961,
      "step": 7000
    },
    {
      "epoch": 0.3,
      "grad_norm": 5.6912360191345215,
      "learning_rate": 1.8e-05,
      "loss": 0.5352,
      "step": 7500
    },
    {
      "epoch": 0.32,
      "grad_norm": 35.99116134643555,
      "learning_rate": 1.7866666666666666e-05,
      "loss": 0.5161,
      "step": 8000
    },
    {
      "epoch": 0.34,
      "grad_norm": 19.271120071411133,
      "learning_rate": 1.7733333333333335e-05,
      "loss": 0.4959,
      "step": 8500
    },
    {
      "epoch": 0.36,
      "grad_norm": 3.878828763961792,
      "learning_rate": 1.76e-05,
      "loss": 0.4481,
      "step": 9000
    },
    {
      "epoch": 0.38,
      "grad_norm": 2.3891541957855225,
      "learning_rate": 1.7466666666666667e-05,
      "loss": 0.453,
      "step": 9500
    },
    {
      "epoch": 0.4,
      "grad_norm": 11.382366180419922,
      "learning_rate": 1.7333333333333336e-05,
      "loss": 0.4207,
      "step": 10000
    },
    {
      "epoch": 0.42,
      "grad_norm": 32.32969284057617,
      "learning_rate": 1.72e-05,
      "loss": 0.429,
      "step": 10500
    },
    {
      "epoch": 0.44,
      "grad_norm": 7.8855180740356445,
      "learning_rate": 1.706666666666667e-05,
      "loss": 0.3985,
      "step": 11000
    },
    {
      "epoch": 0.46,
      "grad_norm": 181.63641357421875,
      "learning_rate": 1.6933333333333336e-05,
      "loss": 0.416,
      "step": 11500
    },
    {
      "epoch": 0.48,
      "grad_norm": 4.859493732452393,
      "learning_rate": 1.6800000000000002e-05,
      "loss": 0.4063,
      "step": 12000
    },
    {
      "epoch": 0.5,
      "grad_norm": 1.5545977354049683,
      "learning_rate": 1.6666666666666667e-05,
      "loss": 0.3843,
      "step": 12500
    },
    {
      "epoch": 0.52,
      "grad_norm": 0.7110391855239868,
      "learning_rate": 1.6533333333333333e-05,
      "loss": 0.3712,
      "step": 13000
    },
    {
      "epoch": 0.54,
      "grad_norm": 0.7853525280952454,
      "learning_rate": 1.64e-05,
      "loss": 0.3558,
      "step": 13500
    },
    {
      "epoch": 0.56,
      "grad_norm": 0.8856327533721924,
      "learning_rate": 1.6266666666666668e-05,
      "loss": 0.3733,
      "step": 14000
    },
    {
      "epoch": 0.58,
      "grad_norm": 0.6677533984184265,
      "learning_rate": 1.6133333333333334e-05,
      "loss": 0.3485,
      "step": 14500
    },
    {
      "epoch": 0.6,
      "grad_norm": 8.784173965454102,
      "learning_rate": 1.6000000000000003e-05,
      "loss": 0.3393,
      "step": 15000
    },
    {
      "epoch": 0.62,
      "grad_norm": 0.434358149766922,
      "learning_rate": 1.586666666666667e-05,
      "loss": 0.3209,
      "step": 15500
    },
    {
      "epoch": 0.64,
      "grad_norm": 0.509839653968811,
      "learning_rate": 1.5733333333333334e-05,
      "loss": 0.3304,
      "step": 16000
    },
    {
      "epoch": 0.66,
      "grad_norm": 0.4287444055080414,
      "learning_rate": 1.5600000000000003e-05,
      "loss": 0.3054,
      "step": 16500
    },
    {
      "epoch": 0.68,
      "grad_norm": 0.3491027057170868,
      "learning_rate": 1.546666666666667e-05,
      "loss": 0.3027,
      "step": 17000
    },
    {
      "epoch": 0.7,
      "grad_norm": 0.3988282084465027,
      "learning_rate": 1.5333333333333334e-05,
      "loss": 0.2945,
      "step": 17500
    },
    {
      "epoch": 0.72,
      "grad_norm": 0.4098167419433594,
      "learning_rate": 1.5200000000000002e-05,
      "loss": 0.2838,
      "step": 18000
    },
    {
      "epoch": 0.74,
      "grad_norm": 0.26621949672698975,
      "learning_rate": 1.5066666666666668e-05,
      "loss": 0.2756,
      "step": 18500
    },
    {
      "epoch": 0.76,
      "grad_norm": 0.28762608766555786,
      "learning_rate": 1.4933333333333335e-05,
      "loss": 0.2846,
      "step": 19000
    },
    {
      "epoch": 0.78,
      "grad_norm": 0.5813781023025513,
      "learning_rate": 1.48e-05,
      "loss": 0.2767,
      "step": 19500
    },
    {
      "epoch": 0.8,
      "grad_norm": 0.2870769202709198,
      "learning_rate": 1.4666666666666666e-05,
      "loss": 0.2729,
      "step": 20000
    },
    {
      "epoch": 0.82,
      "grad_norm": 0.2915711998939514,
      "learning_rate": 1.4533333333333335e-05,
      "loss": 0.2727,
      "step": 20500
    },
    {
      "epoch": 0.84,
      "grad_norm": 0.44486743211746216,
      "learning_rate": 1.4400000000000001e-05,
      "loss": 0.2707,
      "step": 21000
    },
    {
      "epoch": 0.86,
      "grad_norm": 0.3556276261806488,
      "learning_rate": 1.4266666666666668e-05,
      "loss": 0.2709,
      "step": 21500
    },
    {
      "epoch": 0.88,
      "grad_norm": 0.2585805058479309,
      "learning_rate": 1.4133333333333334e-05,
      "loss": 0.2562,
      "step": 22000
    },
    {
      "epoch": 0.9,
      "grad_norm": 0.28209245204925537,
      "learning_rate": 1.4e-05,
      "loss": 0.2707,
      "step": 22500
    },
    {
      "epoch": 0.92,
      "grad_norm": 3.6911416053771973,
      "learning_rate": 1.3866666666666669e-05,
      "loss": 0.2599,
      "step": 23000
    },
    {
      "epoch": 0.94,
      "grad_norm": 0.3395436704158783,
      "learning_rate": 1.3733333333333335e-05,
      "loss": 0.2409,
      "step": 23500
    },
    {
      "epoch": 0.96,
      "grad_norm": 0.24803027510643005,
      "learning_rate": 1.3600000000000002e-05,
      "loss": 0.2406,
      "step": 24000
    },
    {
      "epoch": 0.98,
      "grad_norm": 0.2958641052246094,
      "learning_rate": 1.3466666666666668e-05,
      "loss": 0.2423,
      "step": 24500
    },
    {
      "epoch": 1.0,
      "grad_norm": 0.35062456130981445,
      "learning_rate": 1.3333333333333333e-05,
      "loss": 0.2638,
      "step": 25000
    },
    {
      "epoch": 1.0,
      "eval_loss": 0.2265312522649765,
      "eval_runtime": 10.8699,
      "eval_samples_per_second": 91.997,
      "eval_steps_per_second": 22.999,
      "step": 25000
    },
    {
      "epoch": 1.02,
      "grad_norm": 0.298722505569458,
      "learning_rate": 1.3200000000000002e-05,
      "loss": 0.2429,
      "step": 25500
    },
    {
      "epoch": 1.04,
      "grad_norm": 0.3153237998485565,
      "learning_rate": 1.3066666666666668e-05,
      "loss": 0.2305,
      "step": 26000
    },
    {
      "epoch": 1.06,
      "grad_norm": 0.23537033796310425,
      "learning_rate": 1.2933333333333334e-05,
      "loss": 0.2313,
      "step": 26500
    },
    {
      "epoch": 1.08,
      "grad_norm": 0.2874568700790405,
      "learning_rate": 1.2800000000000001e-05,
      "loss": 0.2415,
      "step": 27000
    },
    {
      "epoch": 1.1,
      "grad_norm": 0.2556588351726532,
      "learning_rate": 1.2666666666666667e-05,
      "loss": 0.2377,
      "step": 27500
    },
    {
      "epoch": 1.12,
      "grad_norm": 0.3062191307544708,
      "learning_rate": 1.2533333333333336e-05,
      "loss": 0.2421,
      "step": 28000
    },
    {
      "epoch": 1.1400000000000001,
      "grad_norm": 0.20563265681266785,
      "learning_rate": 1.2400000000000002e-05,
      "loss": 0.2314,
      "step": 28500
    },
    {
      "epoch": 1.16,
      "grad_norm": 0.4040205180644989,
      "learning_rate": 1.2266666666666667e-05,
      "loss": 0.2332,
      "step": 29000
    },
    {
      "epoch": 1.18,
      "grad_norm": 0.8557522892951965,
      "learning_rate": 1.2133333333333335e-05,
      "loss": 0.2282,
      "step": 29500
    },
    {
      "epoch": 1.2,
      "grad_norm": 0.22553400695323944,
      "learning_rate": 1.2e-05,
      "loss": 0.2269,
      "step": 30000
    },
    {
      "epoch": 1.22,
      "grad_norm": 0.27873969078063965,
      "learning_rate": 1.186666666666667e-05,
      "loss": 0.2271,
      "step": 30500
    },
    {
      "epoch": 1.24,
      "grad_norm": 0.18505054712295532,
      "learning_rate": 1.1733333333333335e-05,
      "loss": 0.23,
      "step": 31000
    },
    {
      "epoch": 1.26,
      "grad_norm": 0.3130967915058136,
      "learning_rate": 1.16e-05,
      "loss": 0.2398,
      "step": 31500
    },
    {
      "epoch": 1.28,
      "grad_norm": 0.2911830544471741,
      "learning_rate": 1.1466666666666668e-05,
      "loss": 0.2328,
      "step": 32000
    },
    {
      "epoch": 1.3,
      "grad_norm": 0.28748762607574463,
      "learning_rate": 1.1333333333333334e-05,
      "loss": 0.2363,
      "step": 32500
    },
    {
      "epoch": 1.32,
      "grad_norm": 0.49352964758872986,
      "learning_rate": 1.1200000000000001e-05,
      "loss": 0.2223,
      "step": 33000
    },
    {
      "epoch": 1.34,
      "grad_norm": 0.42531803250312805,
      "learning_rate": 1.1066666666666669e-05,
      "loss": 0.2182,
      "step": 33500
    },
    {
      "epoch": 1.3599999999999999,
      "grad_norm": 0.20198126137256622,
      "learning_rate": 1.0933333333333334e-05,
      "loss": 0.2192,
      "step": 34000
    },
    {
      "epoch": 1.38,
      "grad_norm": 0.2699495255947113,
      "learning_rate": 1.0800000000000002e-05,
      "loss": 0.2399,
      "step": 34500
    },
    {
      "epoch": 1.4,
      "grad_norm": 0.3870677053928375,
      "learning_rate": 1.0666666666666667e-05,
      "loss": 0.2323,
      "step": 35000
    },
    {
      "epoch": 1.42,
      "grad_norm": 0.34906989336013794,
      "learning_rate": 1.0533333333333333e-05,
      "loss": 0.2256,
      "step": 35500
    },
    {
      "epoch": 1.44,
      "grad_norm": 0.21540525555610657,
      "learning_rate": 1.04e-05,
      "loss": 0.2327,
      "step": 36000
    },
    {
      "epoch": 1.46,
      "grad_norm": 0.28193825483322144,
      "learning_rate": 1.0266666666666668e-05,
      "loss": 0.2304,
      "step": 36500
    },
    {
      "epoch": 1.48,
      "grad_norm": 0.3520973324775696,
      "learning_rate": 1.0133333333333335e-05,
      "loss": 0.2236,
      "step": 37000
    },
    {
      "epoch": 1.5,
      "grad_norm": 0.24787665903568268,
      "learning_rate": 1e-05,
      "loss": 0.2157,
      "step": 37500
    },
    {
      "epoch": 1.52,
      "grad_norm": 0.3090537488460541,
      "learning_rate": 9.866666666666668e-06,
      "loss": 0.2258,
      "step": 38000
    },
    {
      "epoch": 1.54,
      "grad_norm": 0.2534762918949127,
      "learning_rate": 9.733333333333334e-06,
      "loss": 0.2186,
      "step": 38500
    },
    {
      "epoch": 1.56,
      "grad_norm": 0.2605161964893341,
      "learning_rate": 9.600000000000001e-06,
      "loss": 0.2258,
      "step": 39000
    },
    {
      "epoch": 1.58,
      "grad_norm": 0.26178619265556335,
      "learning_rate": 9.466666666666667e-06,
      "loss": 0.217,
      "step": 39500
    },
    {
      "epoch": 1.6,
      "grad_norm": 0.15464206039905548,
      "learning_rate": 9.333333333333334e-06,
      "loss": 0.2236,
      "step": 40000
    },
    {
      "epoch": 1.62,
      "grad_norm": 1.6424922943115234,
      "learning_rate": 9.200000000000002e-06,
      "loss": 0.2247,
      "step": 40500
    },
    {
      "epoch": 1.6400000000000001,
      "grad_norm": 0.2770991325378418,
      "learning_rate": 9.066666666666667e-06,
      "loss": 0.2176,
      "step": 41000
    },
    {
      "epoch": 1.6600000000000001,
      "grad_norm": 0.2883487641811371,
      "learning_rate": 8.933333333333333e-06,
      "loss": 0.2263,
      "step": 41500
    },
    {
      "epoch": 1.6800000000000002,
      "grad_norm": 0.23810796439647675,
      "learning_rate": 8.8e-06,
      "loss": 0.2161,
      "step": 42000
    },
    {
      "epoch": 1.7,
      "grad_norm": 0.26644542813301086,
      "learning_rate": 8.666666666666668e-06,
      "loss": 0.2345,
      "step": 42500
    },
    {
      "epoch": 1.72,
      "grad_norm": 0.2295350581407547,
      "learning_rate": 8.533333333333335e-06,
      "loss": 0.2126,
      "step": 43000
    },
    {
      "epoch": 1.74,
      "grad_norm": 0.24653084576129913,
      "learning_rate": 8.400000000000001e-06,
      "loss": 0.217,
      "step": 43500
    },
    {
      "epoch": 1.76,
      "grad_norm": 0.35403770208358765,
      "learning_rate": 8.266666666666667e-06,
      "loss": 0.2241,
      "step": 44000
    },
    {
      "epoch": 1.78,
      "grad_norm": 0.22405079007148743,
      "learning_rate": 8.133333333333334e-06,
      "loss": 0.2134,
      "step": 44500
    },
    {
      "epoch": 1.8,
      "grad_norm": 0.2870276868343353,
      "learning_rate": 8.000000000000001e-06,
      "loss": 0.2235,
      "step": 45000
    },
    {
      "epoch": 1.8199999999999998,
      "grad_norm": 0.17753545939922333,
      "learning_rate": 7.866666666666667e-06,
      "loss": 0.2166,
      "step": 45500
    },
    {
      "epoch": 1.8399999999999999,
      "grad_norm": 0.26732996106147766,
      "learning_rate": 7.733333333333334e-06,
      "loss": 0.22,
      "step": 46000
    },
    {
      "epoch": 1.8599999999999999,
      "grad_norm": 0.3057607412338257,
      "learning_rate": 7.600000000000001e-06,
      "loss": 0.2204,
      "step": 46500
    },
    {
      "epoch": 1.88,
      "grad_norm": 0.25086137652397156,
      "learning_rate": 7.4666666666666675e-06,
      "loss": 0.2161,
      "step": 47000
    },
    {
      "epoch": 1.9,
      "grad_norm": 0.2141464799642563,
      "learning_rate": 7.333333333333333e-06,
      "loss": 0.2206,
      "step": 47500
    },
    {
      "epoch": 1.92,
      "grad_norm": 0.28755635023117065,
      "learning_rate": 7.2000000000000005e-06,
      "loss": 0.2134,
      "step": 48000
    },
    {
      "epoch": 1.94,
      "grad_norm": 0.21418143808841705,
      "learning_rate": 7.066666666666667e-06,
      "loss": 0.2147,
      "step": 48500
    },
    {
      "epoch": 1.96,
      "grad_norm": 0.34034600853919983,
      "learning_rate": 6.9333333333333344e-06,
      "loss": 0.2144,
      "step": 49000
    },
    {
      "epoch": 1.98,
      "grad_norm": 0.3342379927635193,
      "learning_rate": 6.800000000000001e-06,
      "loss": 0.2051,
      "step": 49500
    },
    {
      "epoch": 2.0,
      "grad_norm": 0.33202606439590454,
      "learning_rate": 6.666666666666667e-06,
      "loss": 0.2096,
      "step": 50000
    },
    {
      "epoch": 2.0,
      "eval_loss": 0.1980527937412262,
      "eval_runtime": 10.9927,
      "eval_samples_per_second": 90.97,
      "eval_steps_per_second": 22.742,
      "step": 50000
    },
    {
      "epoch": 2.02,
      "grad_norm": 0.2342185229063034,
      "learning_rate": 6.533333333333334e-06,
      "loss": 0.2147,
      "step": 50500
    },
    {
      "epoch": 2.04,
      "grad_norm": 0.319594144821167,
      "learning_rate": 6.4000000000000006e-06,
      "loss": 0.2239,
      "step": 51000
    },
    {
      "epoch": 2.06,
      "grad_norm": 0.3202972710132599,
      "learning_rate": 6.266666666666668e-06,
      "loss": 0.2125,
      "step": 51500
    },
    {
      "epoch": 2.08,
      "grad_norm": 0.2449750006198883,
      "learning_rate": 6.133333333333334e-06,
      "loss": 0.2113,
      "step": 52000
    },
    {
      "epoch": 2.1,
      "grad_norm": 0.31305617094039917,
      "learning_rate": 6e-06,
      "loss": 0.2128,
      "step": 52500
    },
    {
      "epoch": 2.12,
      "grad_norm": 0.25055646896362305,
      "learning_rate": 5.8666666666666675e-06,
      "loss": 0.2185,
      "step": 53000
    },
    {
      "epoch": 2.14,
      "grad_norm": 0.2873338758945465,
      "learning_rate": 5.733333333333334e-06,
      "loss": 0.2054,
      "step": 53500
    },
    {
      "epoch": 2.16,
      "grad_norm": 0.47889474034309387,
      "learning_rate": 5.600000000000001e-06,
      "loss": 0.211,
      "step": 54000
    },
    {
      "epoch": 2.18,
      "grad_norm": 0.21017707884311676,
      "learning_rate": 5.466666666666667e-06,
      "loss": 0.2135,
      "step": 54500
    },
    {
      "epoch": 2.2,
      "grad_norm": 0.2858998477458954,
      "learning_rate": 5.333333333333334e-06,
      "loss": 0.2182,
      "step": 55000
    },
    {
      "epoch": 2.22,
      "grad_norm": 0.4663793444633484,
      "learning_rate": 5.2e-06,
      "loss": 0.2165,
      "step": 55500
    },
    {
      "epoch": 2.24,
      "grad_norm": 0.42820295691490173,
      "learning_rate": 5.0666666666666676e-06,
      "loss": 0.2201,
      "step": 56000
    },
    {
      "epoch": 2.26,
      "grad_norm": 0.2752612829208374,
      "learning_rate": 4.933333333333334e-06,
      "loss": 0.2161,
      "step": 56500
    },
    {
      "epoch": 2.2800000000000002,
      "grad_norm": 0.2299540936946869,
      "learning_rate": 4.800000000000001e-06,
      "loss": 0.2067,
      "step": 57000
    },
    {
      "epoch": 2.3,
      "grad_norm": 0.314296156167984,
      "learning_rate": 4.666666666666667e-06,
      "loss": 0.2076,
      "step": 57500
    },
    {
      "epoch": 2.32,
      "grad_norm": 0.24963995814323425,
      "learning_rate": 4.533333333333334e-06,
      "loss": 0.2133,
      "step": 58000
    },
    {
      "epoch": 2.34,
      "grad_norm": 0.3087896406650543,
      "learning_rate": 4.4e-06,
      "loss": 0.2075,
      "step": 58500
    },
    {
      "epoch": 2.36,
      "grad_norm": 0.2801326811313629,
      "learning_rate": 4.266666666666668e-06,
      "loss": 0.2181,
      "step": 59000
    },
    {
      "epoch": 2.38,
      "grad_norm": 0.29823967814445496,
      "learning_rate": 4.133333333333333e-06,
      "loss": 0.2152,
      "step": 59500
    },
    {
      "epoch": 2.4,
      "grad_norm": 0.4328930974006653,
      "learning_rate": 4.000000000000001e-06,
      "loss": 0.2097,
      "step": 60000
    },
    {
      "epoch": 2.42,
      "grad_norm": 0.2497890442609787,
      "learning_rate": 3.866666666666667e-06,
      "loss": 0.201,
      "step": 60500
    },
    {
      "epoch": 2.44,
      "grad_norm": 0.17034302651882172,
      "learning_rate": 3.7333333333333337e-06,
      "loss": 0.2114,
      "step": 61000
    },
    {
      "epoch": 2.46,
      "grad_norm": 0.23970113694667816,
      "learning_rate": 3.6000000000000003e-06,
      "loss": 0.2054,
      "step": 61500
    },
    {
      "epoch": 2.48,
      "grad_norm": 0.3032028377056122,
      "learning_rate": 3.4666666666666672e-06,
      "loss": 0.2029,
      "step": 62000
    },
    {
      "epoch": 2.5,
      "grad_norm": 0.5612643361091614,
      "learning_rate": 3.3333333333333333e-06,
      "loss": 0.2056,
      "step": 62500
    },
    {
      "epoch": 2.52,
      "grad_norm": 0.18388061225414276,
      "learning_rate": 3.2000000000000003e-06,
      "loss": 0.2019,
      "step": 63000
    },
    {
      "epoch": 2.54,
      "grad_norm": 0.2556619942188263,
      "learning_rate": 3.066666666666667e-06,
      "loss": 0.2071,
      "step": 63500
    },
    {
      "epoch": 2.56,
      "grad_norm": 0.3294680416584015,
      "learning_rate": 2.9333333333333338e-06,
      "loss": 0.2161,
      "step": 64000
    },
    {
      "epoch": 2.58,
      "grad_norm": 0.21298156678676605,
      "learning_rate": 2.8000000000000003e-06,
      "loss": 0.2187,
      "step": 64500
    },
    {
      "epoch": 2.6,
      "grad_norm": 0.3082614839076996,
      "learning_rate": 2.666666666666667e-06,
      "loss": 0.2091,
      "step": 65000
    },
    {
      "epoch": 2.62,
      "grad_norm": 0.3203527331352234,
      "learning_rate": 2.5333333333333338e-06,
      "loss": 0.2028,
      "step": 65500
    },
    {
      "epoch": 2.64,
      "grad_norm": 0.3820157051086426,
      "learning_rate": 2.4000000000000003e-06,
      "loss": 0.2121,
      "step": 66000
    },
    {
      "epoch": 2.66,
      "grad_norm": 0.2910447418689728,
      "learning_rate": 2.266666666666667e-06,
      "loss": 0.2059,
      "step": 66500
    },
    {
      "epoch": 2.68,
      "grad_norm": 0.22365550696849823,
      "learning_rate": 2.133333333333334e-06,
      "loss": 0.2035,
      "step": 67000
    },
    {
      "epoch": 2.7,
      "grad_norm": 0.2558656930923462,
      "learning_rate": 2.0000000000000003e-06,
      "loss": 0.2084,
      "step": 67500
    },
    {
      "epoch": 2.7199999999999998,
      "grad_norm": 0.2702789008617401,
      "learning_rate": 1.8666666666666669e-06,
      "loss": 0.2086,
      "step": 68000
    },
    {
      "epoch": 2.74,
      "grad_norm": 0.25935545563697815,
      "learning_rate": 1.7333333333333336e-06,
      "loss": 0.2181,
      "step": 68500
    },
    {
      "epoch": 2.76,
      "grad_norm": 0.21400877833366394,
      "learning_rate": 1.6000000000000001e-06,
      "loss": 0.2022,
      "step": 69000
    },
    {
      "epoch": 2.7800000000000002,
      "grad_norm": 0.5673146843910217,
      "learning_rate": 1.4666666666666669e-06,
      "loss": 0.2045,
      "step": 69500
    },
    {
      "epoch": 2.8,
      "grad_norm": 0.2596617341041565,
      "learning_rate": 1.3333333333333334e-06,
      "loss": 0.2048,
      "step": 70000
    },
    {
      "epoch": 2.82,
      "grad_norm": 0.2350250780582428,
      "learning_rate": 1.2000000000000002e-06,
      "loss": 0.2121,
      "step": 70500
    },
    {
      "epoch": 2.84,
      "grad_norm": 0.2601478695869446,
      "learning_rate": 1.066666666666667e-06,
      "loss": 0.2161,
      "step": 71000
    },
    {
      "epoch": 2.86,
      "grad_norm": 0.3479035794734955,
      "learning_rate": 9.333333333333334e-07,
      "loss": 0.207,
      "step": 71500
    },
    {
      "epoch": 2.88,
      "grad_norm": 0.4192832410335541,
      "learning_rate": 8.000000000000001e-07,
      "loss": 0.2036,
      "step": 72000
    },
    {
      "epoch": 2.9,
      "grad_norm": 0.30366411805152893,
      "learning_rate": 6.666666666666667e-07,
      "loss": 0.2095,
      "step": 72500
    },
    {
      "epoch": 2.92,
      "grad_norm": 0.23220354318618774,
      "learning_rate": 5.333333333333335e-07,
      "loss": 0.2071,
      "step": 73000
    },
    {
      "epoch": 2.94,
      "grad_norm": 0.22450090944766998,
      "learning_rate": 4.0000000000000003e-07,
      "loss": 0.2074,
      "step": 73500
    },
    {
      "epoch": 2.96,
      "grad_norm": 0.24090144038200378,
      "learning_rate": 2.666666666666667e-07,
      "loss": 0.211,
      "step": 74000
    }
  ],
  "logging_steps": 500,
  "max_steps": 75000,
  "num_input_tokens_seen": 0,
  "num_train_epochs": 3,
  "save_steps": 500,
  "stateful_callbacks": {
    "TrainerControl": {
      "args": {
        "should_epoch_stop": false,
        "should_evaluate": false,
        "should_log": false,
        "should_save": true,
        "should_training_stop": false
      },
      "attributes": {}
    }
  },
  "total_flos": 7.825495425024e+16,
  "train_batch_size": 4,
  "trial_name": null,
  "trial_params": null
}