ManyingZ commited on
Commit
1cfc045
1 Parent(s): 4715258

Upload folder using huggingface_hub

Browse files
Files changed (5) hide show
  1. adapter_model.safetensors +1 -1
  2. optimizer.pt +3 -0
  3. rng_state.pth +3 -0
  4. scheduler.pt +3 -0
  5. trainer_state.json +1783 -0
adapter_model.safetensors CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:ff405cf32482fc14d3bc37237b7b9ae743e9e905b83872df141223e5a6a2e6bf
3
  size 3208536
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:1173caa951ba7944da3c25607a384cb70b4ed89f945b6fe7abf5f775f6c064d1
3
  size 3208536
optimizer.pt ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:a686ecef546f0185edfef86ca8d13f1b3f8c0af9d58ae6d40cc68065f5ebaa10
3
+ size 1720890
rng_state.pth ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:dbe448de2f978308a477ce7e08291d8e4e0eda5dba21acc86d7fec95727ef234
3
+ size 14244
scheduler.pt ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:e02038e00bb5fbedaa0b48cd78170283d24119039429a860c32a8fd1d229193d
3
+ size 1064
trainer_state.json ADDED
@@ -0,0 +1,1783 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "best_metric": null,
3
+ "best_model_checkpoint": null,
4
+ "epoch": 24.405125076266017,
5
+ "eval_steps": 500,
6
+ "global_step": 5000,
7
+ "is_hyper_param_search": false,
8
+ "is_local_process_zero": true,
9
+ "is_world_process_zero": true,
10
+ "log_history": [
11
+ {
12
+ "epoch": 0.09762050030506407,
13
+ "grad_norm": 1.6181267499923706,
14
+ "learning_rate": 4e-05,
15
+ "loss": 2.5822,
16
+ "step": 20
17
+ },
18
+ {
19
+ "epoch": 0.19524100061012814,
20
+ "grad_norm": 1.536891222000122,
21
+ "learning_rate": 8e-05,
22
+ "loss": 2.2602,
23
+ "step": 40
24
+ },
25
+ {
26
+ "epoch": 0.2928615009151922,
27
+ "grad_norm": 1.1685199737548828,
28
+ "learning_rate": 0.00012,
29
+ "loss": 1.7209,
30
+ "step": 60
31
+ },
32
+ {
33
+ "epoch": 0.3904820012202563,
34
+ "grad_norm": 1.5937044620513916,
35
+ "learning_rate": 0.00016,
36
+ "loss": 1.6235,
37
+ "step": 80
38
+ },
39
+ {
40
+ "epoch": 0.4881025015253203,
41
+ "grad_norm": 2.1078925132751465,
42
+ "learning_rate": 0.0002,
43
+ "loss": 1.5259,
44
+ "step": 100
45
+ },
46
+ {
47
+ "epoch": 0.5857230018303844,
48
+ "grad_norm": 2.369110345840454,
49
+ "learning_rate": 0.0001998688524590164,
50
+ "loss": 1.5145,
51
+ "step": 120
52
+ },
53
+ {
54
+ "epoch": 0.6833435021354485,
55
+ "grad_norm": 2.531956434249878,
56
+ "learning_rate": 0.0001997377049180328,
57
+ "loss": 1.4408,
58
+ "step": 140
59
+ },
60
+ {
61
+ "epoch": 0.7809640024405126,
62
+ "grad_norm": 2.254030466079712,
63
+ "learning_rate": 0.00019960655737704918,
64
+ "loss": 1.3881,
65
+ "step": 160
66
+ },
67
+ {
68
+ "epoch": 0.8785845027455765,
69
+ "grad_norm": 1.8673783540725708,
70
+ "learning_rate": 0.0001994754098360656,
71
+ "loss": 1.3656,
72
+ "step": 180
73
+ },
74
+ {
75
+ "epoch": 0.9762050030506406,
76
+ "grad_norm": 2.6715195178985596,
77
+ "learning_rate": 0.00019934426229508198,
78
+ "loss": 1.2812,
79
+ "step": 200
80
+ },
81
+ {
82
+ "epoch": 1.0738255033557047,
83
+ "grad_norm": 1.7909507751464844,
84
+ "learning_rate": 0.00019921311475409837,
85
+ "loss": 1.3006,
86
+ "step": 220
87
+ },
88
+ {
89
+ "epoch": 1.1714460036607688,
90
+ "grad_norm": 2.6789026260375977,
91
+ "learning_rate": 0.00019908196721311476,
92
+ "loss": 1.2214,
93
+ "step": 240
94
+ },
95
+ {
96
+ "epoch": 1.2690665039658329,
97
+ "grad_norm": 2.88253116607666,
98
+ "learning_rate": 0.00019895081967213115,
99
+ "loss": 1.2806,
100
+ "step": 260
101
+ },
102
+ {
103
+ "epoch": 1.366687004270897,
104
+ "grad_norm": 1.9062846899032593,
105
+ "learning_rate": 0.00019881967213114757,
106
+ "loss": 1.2342,
107
+ "step": 280
108
+ },
109
+ {
110
+ "epoch": 1.4643075045759608,
111
+ "grad_norm": 2.622042179107666,
112
+ "learning_rate": 0.00019868852459016393,
113
+ "loss": 1.1657,
114
+ "step": 300
115
+ },
116
+ {
117
+ "epoch": 1.561928004881025,
118
+ "grad_norm": 2.6899402141571045,
119
+ "learning_rate": 0.00019855737704918035,
120
+ "loss": 1.1497,
121
+ "step": 320
122
+ },
123
+ {
124
+ "epoch": 1.659548505186089,
125
+ "grad_norm": 3.025324821472168,
126
+ "learning_rate": 0.00019842622950819674,
127
+ "loss": 1.0834,
128
+ "step": 340
129
+ },
130
+ {
131
+ "epoch": 1.757169005491153,
132
+ "grad_norm": 2.729680061340332,
133
+ "learning_rate": 0.00019829508196721313,
134
+ "loss": 1.1031,
135
+ "step": 360
136
+ },
137
+ {
138
+ "epoch": 1.8547895057962172,
139
+ "grad_norm": 3.1579582691192627,
140
+ "learning_rate": 0.00019816393442622951,
141
+ "loss": 1.1726,
142
+ "step": 380
143
+ },
144
+ {
145
+ "epoch": 1.9524100061012812,
146
+ "grad_norm": 2.698084592819214,
147
+ "learning_rate": 0.0001980327868852459,
148
+ "loss": 1.1241,
149
+ "step": 400
150
+ },
151
+ {
152
+ "epoch": 2.0500305064063453,
153
+ "grad_norm": 2.4257960319519043,
154
+ "learning_rate": 0.00019790163934426232,
155
+ "loss": 1.0619,
156
+ "step": 420
157
+ },
158
+ {
159
+ "epoch": 2.1476510067114094,
160
+ "grad_norm": 3.122441291809082,
161
+ "learning_rate": 0.00019777049180327868,
162
+ "loss": 1.0413,
163
+ "step": 440
164
+ },
165
+ {
166
+ "epoch": 2.2452715070164735,
167
+ "grad_norm": 3.2882649898529053,
168
+ "learning_rate": 0.0001976393442622951,
169
+ "loss": 0.9949,
170
+ "step": 460
171
+ },
172
+ {
173
+ "epoch": 2.3428920073215376,
174
+ "grad_norm": 2.3513290882110596,
175
+ "learning_rate": 0.0001975081967213115,
176
+ "loss": 1.0627,
177
+ "step": 480
178
+ },
179
+ {
180
+ "epoch": 2.4405125076266017,
181
+ "grad_norm": 2.9709153175354004,
182
+ "learning_rate": 0.00019737704918032788,
183
+ "loss": 1.0612,
184
+ "step": 500
185
+ },
186
+ {
187
+ "epoch": 2.5381330079316657,
188
+ "grad_norm": 4.2656569480896,
189
+ "learning_rate": 0.00019724590163934427,
190
+ "loss": 0.9615,
191
+ "step": 520
192
+ },
193
+ {
194
+ "epoch": 2.63575350823673,
195
+ "grad_norm": 2.7959163188934326,
196
+ "learning_rate": 0.00019711475409836066,
197
+ "loss": 0.9915,
198
+ "step": 540
199
+ },
200
+ {
201
+ "epoch": 2.733374008541794,
202
+ "grad_norm": 2.7856175899505615,
203
+ "learning_rate": 0.00019698360655737707,
204
+ "loss": 1.0299,
205
+ "step": 560
206
+ },
207
+ {
208
+ "epoch": 2.830994508846858,
209
+ "grad_norm": 3.0926871299743652,
210
+ "learning_rate": 0.00019685245901639344,
211
+ "loss": 0.9642,
212
+ "step": 580
213
+ },
214
+ {
215
+ "epoch": 2.9286150091519216,
216
+ "grad_norm": 4.457515239715576,
217
+ "learning_rate": 0.00019672131147540985,
218
+ "loss": 0.9922,
219
+ "step": 600
220
+ },
221
+ {
222
+ "epoch": 3.026235509456986,
223
+ "grad_norm": 3.0343308448791504,
224
+ "learning_rate": 0.00019659016393442624,
225
+ "loss": 0.9777,
226
+ "step": 620
227
+ },
228
+ {
229
+ "epoch": 3.1238560097620502,
230
+ "grad_norm": 3.12493896484375,
231
+ "learning_rate": 0.00019645901639344263,
232
+ "loss": 0.8765,
233
+ "step": 640
234
+ },
235
+ {
236
+ "epoch": 3.221476510067114,
237
+ "grad_norm": 3.1015610694885254,
238
+ "learning_rate": 0.00019632786885245902,
239
+ "loss": 0.8882,
240
+ "step": 660
241
+ },
242
+ {
243
+ "epoch": 3.319097010372178,
244
+ "grad_norm": 3.334591865539551,
245
+ "learning_rate": 0.0001961967213114754,
246
+ "loss": 0.8958,
247
+ "step": 680
248
+ },
249
+ {
250
+ "epoch": 3.416717510677242,
251
+ "grad_norm": 3.3690192699432373,
252
+ "learning_rate": 0.00019606557377049183,
253
+ "loss": 0.954,
254
+ "step": 700
255
+ },
256
+ {
257
+ "epoch": 3.514338010982306,
258
+ "grad_norm": 3.070910930633545,
259
+ "learning_rate": 0.00019593442622950822,
260
+ "loss": 0.8964,
261
+ "step": 720
262
+ },
263
+ {
264
+ "epoch": 3.61195851128737,
265
+ "grad_norm": 3.369615077972412,
266
+ "learning_rate": 0.0001958032786885246,
267
+ "loss": 0.8758,
268
+ "step": 740
269
+ },
270
+ {
271
+ "epoch": 3.7095790115924343,
272
+ "grad_norm": 2.3834476470947266,
273
+ "learning_rate": 0.000195672131147541,
274
+ "loss": 0.9307,
275
+ "step": 760
276
+ },
277
+ {
278
+ "epoch": 3.8071995118974984,
279
+ "grad_norm": 2.924922466278076,
280
+ "learning_rate": 0.00019554098360655738,
281
+ "loss": 0.8911,
282
+ "step": 780
283
+ },
284
+ {
285
+ "epoch": 3.9048200122025625,
286
+ "grad_norm": 3.321655035018921,
287
+ "learning_rate": 0.00019540983606557377,
288
+ "loss": 0.86,
289
+ "step": 800
290
+ },
291
+ {
292
+ "epoch": 4.002440512507627,
293
+ "grad_norm": 4.9272074699401855,
294
+ "learning_rate": 0.00019527868852459016,
295
+ "loss": 0.9365,
296
+ "step": 820
297
+ },
298
+ {
299
+ "epoch": 4.100061012812691,
300
+ "grad_norm": 3.4161181449890137,
301
+ "learning_rate": 0.00019514754098360658,
302
+ "loss": 0.804,
303
+ "step": 840
304
+ },
305
+ {
306
+ "epoch": 4.197681513117755,
307
+ "grad_norm": 2.86344051361084,
308
+ "learning_rate": 0.00019501639344262297,
309
+ "loss": 0.8029,
310
+ "step": 860
311
+ },
312
+ {
313
+ "epoch": 4.295302013422819,
314
+ "grad_norm": 3.9372735023498535,
315
+ "learning_rate": 0.00019488524590163936,
316
+ "loss": 0.7969,
317
+ "step": 880
318
+ },
319
+ {
320
+ "epoch": 4.392922513727883,
321
+ "grad_norm": 3.2105510234832764,
322
+ "learning_rate": 0.00019475409836065575,
323
+ "loss": 0.7838,
324
+ "step": 900
325
+ },
326
+ {
327
+ "epoch": 4.490543014032947,
328
+ "grad_norm": 3.1704697608947754,
329
+ "learning_rate": 0.00019462295081967214,
330
+ "loss": 0.8246,
331
+ "step": 920
332
+ },
333
+ {
334
+ "epoch": 4.588163514338011,
335
+ "grad_norm": 2.9047462940216064,
336
+ "learning_rate": 0.00019449180327868855,
337
+ "loss": 0.79,
338
+ "step": 940
339
+ },
340
+ {
341
+ "epoch": 4.685784014643075,
342
+ "grad_norm": 3.0593173503875732,
343
+ "learning_rate": 0.00019436065573770491,
344
+ "loss": 0.8105,
345
+ "step": 960
346
+ },
347
+ {
348
+ "epoch": 4.783404514948139,
349
+ "grad_norm": 3.4904775619506836,
350
+ "learning_rate": 0.00019422950819672133,
351
+ "loss": 0.864,
352
+ "step": 980
353
+ },
354
+ {
355
+ "epoch": 4.881025015253203,
356
+ "grad_norm": 3.080754280090332,
357
+ "learning_rate": 0.00019409836065573772,
358
+ "loss": 0.8163,
359
+ "step": 1000
360
+ },
361
+ {
362
+ "epoch": 4.978645515558267,
363
+ "grad_norm": 3.663107395172119,
364
+ "learning_rate": 0.0001939672131147541,
365
+ "loss": 0.8192,
366
+ "step": 1020
367
+ },
368
+ {
369
+ "epoch": 5.0762660158633315,
370
+ "grad_norm": 3.986875534057617,
371
+ "learning_rate": 0.0001938360655737705,
372
+ "loss": 0.7943,
373
+ "step": 1040
374
+ },
375
+ {
376
+ "epoch": 5.173886516168396,
377
+ "grad_norm": 3.140963554382324,
378
+ "learning_rate": 0.0001937049180327869,
379
+ "loss": 0.7274,
380
+ "step": 1060
381
+ },
382
+ {
383
+ "epoch": 5.27150701647346,
384
+ "grad_norm": 4.659877300262451,
385
+ "learning_rate": 0.0001935737704918033,
386
+ "loss": 0.7494,
387
+ "step": 1080
388
+ },
389
+ {
390
+ "epoch": 5.369127516778524,
391
+ "grad_norm": 4.54330587387085,
392
+ "learning_rate": 0.00019344262295081967,
393
+ "loss": 0.6986,
394
+ "step": 1100
395
+ },
396
+ {
397
+ "epoch": 5.466748017083588,
398
+ "grad_norm": 3.893850088119507,
399
+ "learning_rate": 0.00019331147540983608,
400
+ "loss": 0.7555,
401
+ "step": 1120
402
+ },
403
+ {
404
+ "epoch": 5.564368517388652,
405
+ "grad_norm": 3.24857759475708,
406
+ "learning_rate": 0.00019318032786885247,
407
+ "loss": 0.721,
408
+ "step": 1140
409
+ },
410
+ {
411
+ "epoch": 5.661989017693716,
412
+ "grad_norm": 4.82593297958374,
413
+ "learning_rate": 0.00019304918032786886,
414
+ "loss": 0.7523,
415
+ "step": 1160
416
+ },
417
+ {
418
+ "epoch": 5.75960951799878,
419
+ "grad_norm": 3.055907726287842,
420
+ "learning_rate": 0.00019291803278688525,
421
+ "loss": 0.7719,
422
+ "step": 1180
423
+ },
424
+ {
425
+ "epoch": 5.857230018303844,
426
+ "grad_norm": 3.192716121673584,
427
+ "learning_rate": 0.00019278688524590164,
428
+ "loss": 0.7732,
429
+ "step": 1200
430
+ },
431
+ {
432
+ "epoch": 5.954850518608908,
433
+ "grad_norm": 3.196037769317627,
434
+ "learning_rate": 0.00019265573770491806,
435
+ "loss": 0.745,
436
+ "step": 1220
437
+ },
438
+ {
439
+ "epoch": 6.052471018913972,
440
+ "grad_norm": 3.7806878089904785,
441
+ "learning_rate": 0.00019252459016393442,
442
+ "loss": 0.713,
443
+ "step": 1240
444
+ },
445
+ {
446
+ "epoch": 6.150091519219036,
447
+ "grad_norm": 3.6102254390716553,
448
+ "learning_rate": 0.00019239344262295084,
449
+ "loss": 0.6063,
450
+ "step": 1260
451
+ },
452
+ {
453
+ "epoch": 6.2477120195241005,
454
+ "grad_norm": 4.120365142822266,
455
+ "learning_rate": 0.00019226229508196723,
456
+ "loss": 0.6771,
457
+ "step": 1280
458
+ },
459
+ {
460
+ "epoch": 6.345332519829164,
461
+ "grad_norm": 3.118666887283325,
462
+ "learning_rate": 0.00019213114754098362,
463
+ "loss": 0.7173,
464
+ "step": 1300
465
+ },
466
+ {
467
+ "epoch": 6.442953020134228,
468
+ "grad_norm": 3.8055977821350098,
469
+ "learning_rate": 0.000192,
470
+ "loss": 0.6609,
471
+ "step": 1320
472
+ },
473
+ {
474
+ "epoch": 6.540573520439292,
475
+ "grad_norm": 3.4207704067230225,
476
+ "learning_rate": 0.0001918688524590164,
477
+ "loss": 0.7084,
478
+ "step": 1340
479
+ },
480
+ {
481
+ "epoch": 6.638194020744356,
482
+ "grad_norm": 3.812415838241577,
483
+ "learning_rate": 0.0001917377049180328,
484
+ "loss": 0.744,
485
+ "step": 1360
486
+ },
487
+ {
488
+ "epoch": 6.73581452104942,
489
+ "grad_norm": 4.302225112915039,
490
+ "learning_rate": 0.00019160655737704917,
491
+ "loss": 0.667,
492
+ "step": 1380
493
+ },
494
+ {
495
+ "epoch": 6.833435021354484,
496
+ "grad_norm": 3.3958733081817627,
497
+ "learning_rate": 0.0001914754098360656,
498
+ "loss": 0.6769,
499
+ "step": 1400
500
+ },
501
+ {
502
+ "epoch": 6.931055521659548,
503
+ "grad_norm": 3.6200642585754395,
504
+ "learning_rate": 0.00019134426229508198,
505
+ "loss": 0.7494,
506
+ "step": 1420
507
+ },
508
+ {
509
+ "epoch": 7.028676021964612,
510
+ "grad_norm": 3.2580292224884033,
511
+ "learning_rate": 0.00019121311475409837,
512
+ "loss": 0.6252,
513
+ "step": 1440
514
+ },
515
+ {
516
+ "epoch": 7.126296522269676,
517
+ "grad_norm": 3.581437826156616,
518
+ "learning_rate": 0.00019108196721311476,
519
+ "loss": 0.6072,
520
+ "step": 1460
521
+ },
522
+ {
523
+ "epoch": 7.22391702257474,
524
+ "grad_norm": 3.7347512245178223,
525
+ "learning_rate": 0.00019095081967213115,
526
+ "loss": 0.5715,
527
+ "step": 1480
528
+ },
529
+ {
530
+ "epoch": 7.3215375228798045,
531
+ "grad_norm": 3.564328193664551,
532
+ "learning_rate": 0.00019081967213114756,
533
+ "loss": 0.5937,
534
+ "step": 1500
535
+ },
536
+ {
537
+ "epoch": 7.419158023184869,
538
+ "grad_norm": 3.8675971031188965,
539
+ "learning_rate": 0.00019068852459016395,
540
+ "loss": 0.6441,
541
+ "step": 1520
542
+ },
543
+ {
544
+ "epoch": 7.516778523489933,
545
+ "grad_norm": 3.7394795417785645,
546
+ "learning_rate": 0.00019055737704918034,
547
+ "loss": 0.6345,
548
+ "step": 1540
549
+ },
550
+ {
551
+ "epoch": 7.614399023794997,
552
+ "grad_norm": 3.7391791343688965,
553
+ "learning_rate": 0.00019042622950819673,
554
+ "loss": 0.6334,
555
+ "step": 1560
556
+ },
557
+ {
558
+ "epoch": 7.712019524100061,
559
+ "grad_norm": 3.2816712856292725,
560
+ "learning_rate": 0.00019029508196721312,
561
+ "loss": 0.6448,
562
+ "step": 1580
563
+ },
564
+ {
565
+ "epoch": 7.809640024405125,
566
+ "grad_norm": 3.741111993789673,
567
+ "learning_rate": 0.0001901639344262295,
568
+ "loss": 0.6605,
569
+ "step": 1600
570
+ },
571
+ {
572
+ "epoch": 7.907260524710189,
573
+ "grad_norm": 3.5533151626586914,
574
+ "learning_rate": 0.0001900327868852459,
575
+ "loss": 0.6434,
576
+ "step": 1620
577
+ },
578
+ {
579
+ "epoch": 8.004881025015253,
580
+ "grad_norm": 3.243546724319458,
581
+ "learning_rate": 0.00018990163934426232,
582
+ "loss": 0.6923,
583
+ "step": 1640
584
+ },
585
+ {
586
+ "epoch": 8.102501525320317,
587
+ "grad_norm": 3.860666513442993,
588
+ "learning_rate": 0.0001897704918032787,
589
+ "loss": 0.5619,
590
+ "step": 1660
591
+ },
592
+ {
593
+ "epoch": 8.200122025625381,
594
+ "grad_norm": 3.4826905727386475,
595
+ "learning_rate": 0.0001896393442622951,
596
+ "loss": 0.5446,
597
+ "step": 1680
598
+ },
599
+ {
600
+ "epoch": 8.297742525930445,
601
+ "grad_norm": 5.119688034057617,
602
+ "learning_rate": 0.00018950819672131148,
603
+ "loss": 0.5525,
604
+ "step": 1700
605
+ },
606
+ {
607
+ "epoch": 8.39536302623551,
608
+ "grad_norm": 3.46353816986084,
609
+ "learning_rate": 0.00018937704918032787,
610
+ "loss": 0.5346,
611
+ "step": 1720
612
+ },
613
+ {
614
+ "epoch": 8.492983526540574,
615
+ "grad_norm": 4.458425045013428,
616
+ "learning_rate": 0.0001892459016393443,
617
+ "loss": 0.6127,
618
+ "step": 1740
619
+ },
620
+ {
621
+ "epoch": 8.590604026845638,
622
+ "grad_norm": 3.592191457748413,
623
+ "learning_rate": 0.00018911475409836065,
624
+ "loss": 0.5721,
625
+ "step": 1760
626
+ },
627
+ {
628
+ "epoch": 8.688224527150702,
629
+ "grad_norm": 4.131028652191162,
630
+ "learning_rate": 0.00018898360655737707,
631
+ "loss": 0.5799,
632
+ "step": 1780
633
+ },
634
+ {
635
+ "epoch": 8.785845027455766,
636
+ "grad_norm": 3.6534175872802734,
637
+ "learning_rate": 0.00018885245901639346,
638
+ "loss": 0.6198,
639
+ "step": 1800
640
+ },
641
+ {
642
+ "epoch": 8.88346552776083,
643
+ "grad_norm": 3.0888559818267822,
644
+ "learning_rate": 0.00018872131147540985,
645
+ "loss": 0.6309,
646
+ "step": 1820
647
+ },
648
+ {
649
+ "epoch": 8.981086028065894,
650
+ "grad_norm": 2.7711477279663086,
651
+ "learning_rate": 0.00018859016393442624,
652
+ "loss": 0.601,
653
+ "step": 1840
654
+ },
655
+ {
656
+ "epoch": 9.078706528370958,
657
+ "grad_norm": 2.7783164978027344,
658
+ "learning_rate": 0.00018845901639344263,
659
+ "loss": 0.5696,
660
+ "step": 1860
661
+ },
662
+ {
663
+ "epoch": 9.176327028676022,
664
+ "grad_norm": 3.6661510467529297,
665
+ "learning_rate": 0.00018832786885245904,
666
+ "loss": 0.5214,
667
+ "step": 1880
668
+ },
669
+ {
670
+ "epoch": 9.273947528981086,
671
+ "grad_norm": 3.4614779949188232,
672
+ "learning_rate": 0.0001881967213114754,
673
+ "loss": 0.5181,
674
+ "step": 1900
675
+ },
676
+ {
677
+ "epoch": 9.37156802928615,
678
+ "grad_norm": 3.470071315765381,
679
+ "learning_rate": 0.00018806557377049182,
680
+ "loss": 0.5196,
681
+ "step": 1920
682
+ },
683
+ {
684
+ "epoch": 9.469188529591214,
685
+ "grad_norm": 3.686056613922119,
686
+ "learning_rate": 0.0001879344262295082,
687
+ "loss": 0.5432,
688
+ "step": 1940
689
+ },
690
+ {
691
+ "epoch": 9.566809029896278,
692
+ "grad_norm": 3.4668374061584473,
693
+ "learning_rate": 0.0001878032786885246,
694
+ "loss": 0.5502,
695
+ "step": 1960
696
+ },
697
+ {
698
+ "epoch": 9.664429530201343,
699
+ "grad_norm": 4.547699928283691,
700
+ "learning_rate": 0.000187672131147541,
701
+ "loss": 0.5482,
702
+ "step": 1980
703
+ },
704
+ {
705
+ "epoch": 9.762050030506407,
706
+ "grad_norm": 3.784132957458496,
707
+ "learning_rate": 0.00018754098360655738,
708
+ "loss": 0.516,
709
+ "step": 2000
710
+ },
711
+ {
712
+ "epoch": 9.85967053081147,
713
+ "grad_norm": 4.160193920135498,
714
+ "learning_rate": 0.0001874098360655738,
715
+ "loss": 0.5658,
716
+ "step": 2020
717
+ },
718
+ {
719
+ "epoch": 9.957291031116535,
720
+ "grad_norm": 4.115555286407471,
721
+ "learning_rate": 0.00018727868852459016,
722
+ "loss": 0.5775,
723
+ "step": 2040
724
+ },
725
+ {
726
+ "epoch": 10.054911531421599,
727
+ "grad_norm": 3.361625909805298,
728
+ "learning_rate": 0.00018714754098360657,
729
+ "loss": 0.5105,
730
+ "step": 2060
731
+ },
732
+ {
733
+ "epoch": 10.152532031726663,
734
+ "grad_norm": 3.663980484008789,
735
+ "learning_rate": 0.00018701639344262296,
736
+ "loss": 0.4556,
737
+ "step": 2080
738
+ },
739
+ {
740
+ "epoch": 10.250152532031727,
741
+ "grad_norm": 3.6515650749206543,
742
+ "learning_rate": 0.00018688524590163935,
743
+ "loss": 0.4937,
744
+ "step": 2100
745
+ },
746
+ {
747
+ "epoch": 10.347773032336791,
748
+ "grad_norm": 3.2449493408203125,
749
+ "learning_rate": 0.00018675409836065574,
750
+ "loss": 0.481,
751
+ "step": 2120
752
+ },
753
+ {
754
+ "epoch": 10.445393532641855,
755
+ "grad_norm": 4.262176513671875,
756
+ "learning_rate": 0.00018662295081967213,
757
+ "loss": 0.4559,
758
+ "step": 2140
759
+ },
760
+ {
761
+ "epoch": 10.54301403294692,
762
+ "grad_norm": 3.885936737060547,
763
+ "learning_rate": 0.00018649180327868855,
764
+ "loss": 0.5263,
765
+ "step": 2160
766
+ },
767
+ {
768
+ "epoch": 10.640634533251983,
769
+ "grad_norm": 3.676922559738159,
770
+ "learning_rate": 0.00018636065573770494,
771
+ "loss": 0.4942,
772
+ "step": 2180
773
+ },
774
+ {
775
+ "epoch": 10.738255033557047,
776
+ "grad_norm": 4.31233024597168,
777
+ "learning_rate": 0.00018622950819672133,
778
+ "loss": 0.5339,
779
+ "step": 2200
780
+ },
781
+ {
782
+ "epoch": 10.835875533862112,
783
+ "grad_norm": 3.410269260406494,
784
+ "learning_rate": 0.00018609836065573772,
785
+ "loss": 0.5365,
786
+ "step": 2220
787
+ },
788
+ {
789
+ "epoch": 10.933496034167176,
790
+ "grad_norm": 3.114283800125122,
791
+ "learning_rate": 0.0001859672131147541,
792
+ "loss": 0.5252,
793
+ "step": 2240
794
+ },
795
+ {
796
+ "epoch": 11.03111653447224,
797
+ "grad_norm": 3.4641740322113037,
798
+ "learning_rate": 0.0001858360655737705,
799
+ "loss": 0.4993,
800
+ "step": 2260
801
+ },
802
+ {
803
+ "epoch": 11.128737034777304,
804
+ "grad_norm": 5.0364203453063965,
805
+ "learning_rate": 0.00018570491803278688,
806
+ "loss": 0.4097,
807
+ "step": 2280
808
+ },
809
+ {
810
+ "epoch": 11.226357535082368,
811
+ "grad_norm": 3.811703681945801,
812
+ "learning_rate": 0.0001855737704918033,
813
+ "loss": 0.4265,
814
+ "step": 2300
815
+ },
816
+ {
817
+ "epoch": 11.323978035387432,
818
+ "grad_norm": 3.528463125228882,
819
+ "learning_rate": 0.0001854426229508197,
820
+ "loss": 0.4542,
821
+ "step": 2320
822
+ },
823
+ {
824
+ "epoch": 11.421598535692496,
825
+ "grad_norm": 3.013249158859253,
826
+ "learning_rate": 0.00018531147540983608,
827
+ "loss": 0.4824,
828
+ "step": 2340
829
+ },
830
+ {
831
+ "epoch": 11.51921903599756,
832
+ "grad_norm": 3.7065834999084473,
833
+ "learning_rate": 0.00018518032786885247,
834
+ "loss": 0.4724,
835
+ "step": 2360
836
+ },
837
+ {
838
+ "epoch": 11.616839536302624,
839
+ "grad_norm": 3.271639347076416,
840
+ "learning_rate": 0.00018504918032786886,
841
+ "loss": 0.4731,
842
+ "step": 2380
843
+ },
844
+ {
845
+ "epoch": 11.714460036607688,
846
+ "grad_norm": 3.738567590713501,
847
+ "learning_rate": 0.00018491803278688527,
848
+ "loss": 0.5024,
849
+ "step": 2400
850
+ },
851
+ {
852
+ "epoch": 11.812080536912752,
853
+ "grad_norm": 3.5277130603790283,
854
+ "learning_rate": 0.00018478688524590164,
855
+ "loss": 0.4552,
856
+ "step": 2420
857
+ },
858
+ {
859
+ "epoch": 11.909701037217816,
860
+ "grad_norm": 3.909186840057373,
861
+ "learning_rate": 0.00018465573770491805,
862
+ "loss": 0.4454,
863
+ "step": 2440
864
+ },
865
+ {
866
+ "epoch": 12.00732153752288,
867
+ "grad_norm": 3.629971981048584,
868
+ "learning_rate": 0.00018452459016393444,
869
+ "loss": 0.4928,
870
+ "step": 2460
871
+ },
872
+ {
873
+ "epoch": 12.104942037827945,
874
+ "grad_norm": 4.8608245849609375,
875
+ "learning_rate": 0.0001843934426229508,
876
+ "loss": 0.395,
877
+ "step": 2480
878
+ },
879
+ {
880
+ "epoch": 12.202562538133009,
881
+ "grad_norm": 3.377361536026001,
882
+ "learning_rate": 0.00018426229508196722,
883
+ "loss": 0.4124,
884
+ "step": 2500
885
+ },
886
+ {
887
+ "epoch": 12.300183038438073,
888
+ "grad_norm": 3.1160948276519775,
889
+ "learning_rate": 0.0001841311475409836,
890
+ "loss": 0.4317,
891
+ "step": 2520
892
+ },
893
+ {
894
+ "epoch": 12.397803538743137,
895
+ "grad_norm": 4.747882843017578,
896
+ "learning_rate": 0.00018400000000000003,
897
+ "loss": 0.4054,
898
+ "step": 2540
899
+ },
900
+ {
901
+ "epoch": 12.495424039048201,
902
+ "grad_norm": 3.0192835330963135,
903
+ "learning_rate": 0.0001838688524590164,
904
+ "loss": 0.4384,
905
+ "step": 2560
906
+ },
907
+ {
908
+ "epoch": 12.593044539353265,
909
+ "grad_norm": 3.397606372833252,
910
+ "learning_rate": 0.0001837377049180328,
911
+ "loss": 0.4095,
912
+ "step": 2580
913
+ },
914
+ {
915
+ "epoch": 12.690665039658327,
916
+ "grad_norm": 3.571641445159912,
917
+ "learning_rate": 0.0001836065573770492,
918
+ "loss": 0.4526,
919
+ "step": 2600
920
+ },
921
+ {
922
+ "epoch": 12.788285539963393,
923
+ "grad_norm": 3.9279720783233643,
924
+ "learning_rate": 0.00018347540983606558,
925
+ "loss": 0.4447,
926
+ "step": 2620
927
+ },
928
+ {
929
+ "epoch": 12.885906040268456,
930
+ "grad_norm": 5.057145118713379,
931
+ "learning_rate": 0.00018334426229508197,
932
+ "loss": 0.4285,
933
+ "step": 2640
934
+ },
935
+ {
936
+ "epoch": 12.98352654057352,
937
+ "grad_norm": 4.515413761138916,
938
+ "learning_rate": 0.00018321311475409836,
939
+ "loss": 0.4614,
940
+ "step": 2660
941
+ },
942
+ {
943
+ "epoch": 13.081147040878584,
944
+ "grad_norm": 5.738150119781494,
945
+ "learning_rate": 0.00018308196721311478,
946
+ "loss": 0.3594,
947
+ "step": 2680
948
+ },
949
+ {
950
+ "epoch": 13.178767541183648,
951
+ "grad_norm": 4.123675346374512,
952
+ "learning_rate": 0.00018295081967213114,
953
+ "loss": 0.3604,
954
+ "step": 2700
955
+ },
956
+ {
957
+ "epoch": 13.276388041488712,
958
+ "grad_norm": 4.020540237426758,
959
+ "learning_rate": 0.00018281967213114756,
960
+ "loss": 0.3455,
961
+ "step": 2720
962
+ },
963
+ {
964
+ "epoch": 13.374008541793776,
965
+ "grad_norm": 3.946470260620117,
966
+ "learning_rate": 0.00018268852459016395,
967
+ "loss": 0.3936,
968
+ "step": 2740
969
+ },
970
+ {
971
+ "epoch": 13.47162904209884,
972
+ "grad_norm": 3.4082658290863037,
973
+ "learning_rate": 0.00018255737704918034,
974
+ "loss": 0.3853,
975
+ "step": 2760
976
+ },
977
+ {
978
+ "epoch": 13.569249542403904,
979
+ "grad_norm": 3.8602256774902344,
980
+ "learning_rate": 0.00018242622950819673,
981
+ "loss": 0.4138,
982
+ "step": 2780
983
+ },
984
+ {
985
+ "epoch": 13.666870042708968,
986
+ "grad_norm": 3.4819118976593018,
987
+ "learning_rate": 0.00018229508196721312,
988
+ "loss": 0.4235,
989
+ "step": 2800
990
+ },
991
+ {
992
+ "epoch": 13.764490543014032,
993
+ "grad_norm": 4.620802402496338,
994
+ "learning_rate": 0.00018216393442622953,
995
+ "loss": 0.3917,
996
+ "step": 2820
997
+ },
998
+ {
999
+ "epoch": 13.862111043319096,
1000
+ "grad_norm": 4.1257500648498535,
1001
+ "learning_rate": 0.00018203278688524592,
1002
+ "loss": 0.4289,
1003
+ "step": 2840
1004
+ },
1005
+ {
1006
+ "epoch": 13.95973154362416,
1007
+ "grad_norm": 4.032405376434326,
1008
+ "learning_rate": 0.0001819016393442623,
1009
+ "loss": 0.4501,
1010
+ "step": 2860
1011
+ },
1012
+ {
1013
+ "epoch": 14.057352043929225,
1014
+ "grad_norm": 3.9458096027374268,
1015
+ "learning_rate": 0.0001817704918032787,
1016
+ "loss": 0.3863,
1017
+ "step": 2880
1018
+ },
1019
+ {
1020
+ "epoch": 14.154972544234289,
1021
+ "grad_norm": 5.01477575302124,
1022
+ "learning_rate": 0.0001816393442622951,
1023
+ "loss": 0.3421,
1024
+ "step": 2900
1025
+ },
1026
+ {
1027
+ "epoch": 14.252593044539353,
1028
+ "grad_norm": 3.396898031234741,
1029
+ "learning_rate": 0.00018150819672131148,
1030
+ "loss": 0.3438,
1031
+ "step": 2920
1032
+ },
1033
+ {
1034
+ "epoch": 14.350213544844417,
1035
+ "grad_norm": 4.596593856811523,
1036
+ "learning_rate": 0.00018137704918032787,
1037
+ "loss": 0.3435,
1038
+ "step": 2940
1039
+ },
1040
+ {
1041
+ "epoch": 14.44783404514948,
1042
+ "grad_norm": 3.6386988162994385,
1043
+ "learning_rate": 0.00018124590163934429,
1044
+ "loss": 0.3703,
1045
+ "step": 2960
1046
+ },
1047
+ {
1048
+ "epoch": 14.545454545454545,
1049
+ "grad_norm": 3.3389110565185547,
1050
+ "learning_rate": 0.00018111475409836067,
1051
+ "loss": 0.3727,
1052
+ "step": 2980
1053
+ },
1054
+ {
1055
+ "epoch": 14.643075045759609,
1056
+ "grad_norm": 4.675887107849121,
1057
+ "learning_rate": 0.00018098360655737704,
1058
+ "loss": 0.3972,
1059
+ "step": 3000
1060
+ },
1061
+ {
1062
+ "epoch": 14.740695546064673,
1063
+ "grad_norm": 3.3281068801879883,
1064
+ "learning_rate": 0.00018085245901639345,
1065
+ "loss": 0.38,
1066
+ "step": 3020
1067
+ },
1068
+ {
1069
+ "epoch": 14.838316046369737,
1070
+ "grad_norm": 3.9550278186798096,
1071
+ "learning_rate": 0.00018072131147540984,
1072
+ "loss": 0.3995,
1073
+ "step": 3040
1074
+ },
1075
+ {
1076
+ "epoch": 14.935936546674801,
1077
+ "grad_norm": 2.93839168548584,
1078
+ "learning_rate": 0.00018059016393442626,
1079
+ "loss": 0.3885,
1080
+ "step": 3060
1081
+ },
1082
+ {
1083
+ "epoch": 15.033557046979865,
1084
+ "grad_norm": 3.583588123321533,
1085
+ "learning_rate": 0.00018045901639344262,
1086
+ "loss": 0.3407,
1087
+ "step": 3080
1088
+ },
1089
+ {
1090
+ "epoch": 15.13117754728493,
1091
+ "grad_norm": 3.6306777000427246,
1092
+ "learning_rate": 0.00018032786885245904,
1093
+ "loss": 0.3016,
1094
+ "step": 3100
1095
+ },
1096
+ {
1097
+ "epoch": 15.228798047589994,
1098
+ "grad_norm": 3.278693437576294,
1099
+ "learning_rate": 0.00018019672131147543,
1100
+ "loss": 0.292,
1101
+ "step": 3120
1102
+ },
1103
+ {
1104
+ "epoch": 15.326418547895058,
1105
+ "grad_norm": 2.9507830142974854,
1106
+ "learning_rate": 0.0001800655737704918,
1107
+ "loss": 0.3204,
1108
+ "step": 3140
1109
+ },
1110
+ {
1111
+ "epoch": 15.424039048200122,
1112
+ "grad_norm": 2.957294464111328,
1113
+ "learning_rate": 0.0001799344262295082,
1114
+ "loss": 0.3446,
1115
+ "step": 3160
1116
+ },
1117
+ {
1118
+ "epoch": 15.521659548505186,
1119
+ "grad_norm": 3.4953787326812744,
1120
+ "learning_rate": 0.0001798032786885246,
1121
+ "loss": 0.3307,
1122
+ "step": 3180
1123
+ },
1124
+ {
1125
+ "epoch": 15.61928004881025,
1126
+ "grad_norm": 3.349458694458008,
1127
+ "learning_rate": 0.000179672131147541,
1128
+ "loss": 0.3448,
1129
+ "step": 3200
1130
+ },
1131
+ {
1132
+ "epoch": 15.716900549115314,
1133
+ "grad_norm": 4.927302837371826,
1134
+ "learning_rate": 0.00017954098360655737,
1135
+ "loss": 0.3661,
1136
+ "step": 3220
1137
+ },
1138
+ {
1139
+ "epoch": 15.814521049420378,
1140
+ "grad_norm": 4.214022636413574,
1141
+ "learning_rate": 0.0001794098360655738,
1142
+ "loss": 0.3595,
1143
+ "step": 3240
1144
+ },
1145
+ {
1146
+ "epoch": 15.912141549725442,
1147
+ "grad_norm": 3.7332723140716553,
1148
+ "learning_rate": 0.00017927868852459018,
1149
+ "loss": 0.3916,
1150
+ "step": 3260
1151
+ },
1152
+ {
1153
+ "epoch": 16.009762050030506,
1154
+ "grad_norm": 3.1130378246307373,
1155
+ "learning_rate": 0.00017914754098360657,
1156
+ "loss": 0.365,
1157
+ "step": 3280
1158
+ },
1159
+ {
1160
+ "epoch": 16.107382550335572,
1161
+ "grad_norm": 3.9815053939819336,
1162
+ "learning_rate": 0.00017901639344262296,
1163
+ "loss": 0.2466,
1164
+ "step": 3300
1165
+ },
1166
+ {
1167
+ "epoch": 16.205003050640634,
1168
+ "grad_norm": 4.437533855438232,
1169
+ "learning_rate": 0.00017888524590163935,
1170
+ "loss": 0.2917,
1171
+ "step": 3320
1172
+ },
1173
+ {
1174
+ "epoch": 16.3026235509457,
1175
+ "grad_norm": 3.869553565979004,
1176
+ "learning_rate": 0.00017875409836065576,
1177
+ "loss": 0.2982,
1178
+ "step": 3340
1179
+ },
1180
+ {
1181
+ "epoch": 16.400244051250763,
1182
+ "grad_norm": 3.1284611225128174,
1183
+ "learning_rate": 0.00017862295081967213,
1184
+ "loss": 0.3146,
1185
+ "step": 3360
1186
+ },
1187
+ {
1188
+ "epoch": 16.49786455155583,
1189
+ "grad_norm": 3.837712049484253,
1190
+ "learning_rate": 0.00017849180327868852,
1191
+ "loss": 0.3129,
1192
+ "step": 3380
1193
+ },
1194
+ {
1195
+ "epoch": 16.59548505186089,
1196
+ "grad_norm": 3.348344326019287,
1197
+ "learning_rate": 0.00017836065573770493,
1198
+ "loss": 0.3379,
1199
+ "step": 3400
1200
+ },
1201
+ {
1202
+ "epoch": 16.693105552165953,
1203
+ "grad_norm": 3.809512138366699,
1204
+ "learning_rate": 0.00017822950819672132,
1205
+ "loss": 0.3193,
1206
+ "step": 3420
1207
+ },
1208
+ {
1209
+ "epoch": 16.79072605247102,
1210
+ "grad_norm": 3.3745222091674805,
1211
+ "learning_rate": 0.0001780983606557377,
1212
+ "loss": 0.3308,
1213
+ "step": 3440
1214
+ },
1215
+ {
1216
+ "epoch": 16.888346552776085,
1217
+ "grad_norm": 4.550785541534424,
1218
+ "learning_rate": 0.0001779672131147541,
1219
+ "loss": 0.3609,
1220
+ "step": 3460
1221
+ },
1222
+ {
1223
+ "epoch": 16.985967053081147,
1224
+ "grad_norm": 4.031665802001953,
1225
+ "learning_rate": 0.00017783606557377052,
1226
+ "loss": 0.3648,
1227
+ "step": 3480
1228
+ },
1229
+ {
1230
+ "epoch": 17.08358755338621,
1231
+ "grad_norm": 3.0923168659210205,
1232
+ "learning_rate": 0.0001777049180327869,
1233
+ "loss": 0.2731,
1234
+ "step": 3500
1235
+ },
1236
+ {
1237
+ "epoch": 17.181208053691275,
1238
+ "grad_norm": 3.291416883468628,
1239
+ "learning_rate": 0.00017757377049180327,
1240
+ "loss": 0.2829,
1241
+ "step": 3520
1242
+ },
1243
+ {
1244
+ "epoch": 17.278828553996338,
1245
+ "grad_norm": 3.059995651245117,
1246
+ "learning_rate": 0.00017744262295081969,
1247
+ "loss": 0.3047,
1248
+ "step": 3540
1249
+ },
1250
+ {
1251
+ "epoch": 17.376449054301403,
1252
+ "grad_norm": 3.1089327335357666,
1253
+ "learning_rate": 0.00017731147540983607,
1254
+ "loss": 0.3092,
1255
+ "step": 3560
1256
+ },
1257
+ {
1258
+ "epoch": 17.474069554606466,
1259
+ "grad_norm": 3.9796876907348633,
1260
+ "learning_rate": 0.00017718032786885246,
1261
+ "loss": 0.2647,
1262
+ "step": 3580
1263
+ },
1264
+ {
1265
+ "epoch": 17.57169005491153,
1266
+ "grad_norm": 3.587038040161133,
1267
+ "learning_rate": 0.00017704918032786885,
1268
+ "loss": 0.308,
1269
+ "step": 3600
1270
+ },
1271
+ {
1272
+ "epoch": 17.669310555216594,
1273
+ "grad_norm": 3.7032790184020996,
1274
+ "learning_rate": 0.00017691803278688527,
1275
+ "loss": 0.3101,
1276
+ "step": 3620
1277
+ },
1278
+ {
1279
+ "epoch": 17.76693105552166,
1280
+ "grad_norm": 3.7440781593322754,
1281
+ "learning_rate": 0.00017678688524590166,
1282
+ "loss": 0.2922,
1283
+ "step": 3640
1284
+ },
1285
+ {
1286
+ "epoch": 17.864551555826722,
1287
+ "grad_norm": 3.4123542308807373,
1288
+ "learning_rate": 0.00017665573770491802,
1289
+ "loss": 0.3097,
1290
+ "step": 3660
1291
+ },
1292
+ {
1293
+ "epoch": 17.962172056131788,
1294
+ "grad_norm": 3.958204507827759,
1295
+ "learning_rate": 0.00017652459016393444,
1296
+ "loss": 0.2955,
1297
+ "step": 3680
1298
+ },
1299
+ {
1300
+ "epoch": 18.05979255643685,
1301
+ "grad_norm": 4.549073696136475,
1302
+ "learning_rate": 0.00017639344262295083,
1303
+ "loss": 0.2846,
1304
+ "step": 3700
1305
+ },
1306
+ {
1307
+ "epoch": 18.157413056741916,
1308
+ "grad_norm": 3.5509791374206543,
1309
+ "learning_rate": 0.00017626229508196724,
1310
+ "loss": 0.2651,
1311
+ "step": 3720
1312
+ },
1313
+ {
1314
+ "epoch": 18.25503355704698,
1315
+ "grad_norm": 4.044325828552246,
1316
+ "learning_rate": 0.0001761311475409836,
1317
+ "loss": 0.242,
1318
+ "step": 3740
1319
+ },
1320
+ {
1321
+ "epoch": 18.352654057352044,
1322
+ "grad_norm": 3.255535125732422,
1323
+ "learning_rate": 0.00017600000000000002,
1324
+ "loss": 0.2857,
1325
+ "step": 3760
1326
+ },
1327
+ {
1328
+ "epoch": 18.450274557657107,
1329
+ "grad_norm": 3.6761083602905273,
1330
+ "learning_rate": 0.0001758688524590164,
1331
+ "loss": 0.285,
1332
+ "step": 3780
1333
+ },
1334
+ {
1335
+ "epoch": 18.547895057962172,
1336
+ "grad_norm": 4.1334381103515625,
1337
+ "learning_rate": 0.00017573770491803277,
1338
+ "loss": 0.2648,
1339
+ "step": 3800
1340
+ },
1341
+ {
1342
+ "epoch": 18.645515558267235,
1343
+ "grad_norm": 3.5164451599121094,
1344
+ "learning_rate": 0.0001756065573770492,
1345
+ "loss": 0.2654,
1346
+ "step": 3820
1347
+ },
1348
+ {
1349
+ "epoch": 18.7431360585723,
1350
+ "grad_norm": 3.96533465385437,
1351
+ "learning_rate": 0.00017547540983606558,
1352
+ "loss": 0.2862,
1353
+ "step": 3840
1354
+ },
1355
+ {
1356
+ "epoch": 18.840756558877363,
1357
+ "grad_norm": 3.932554006576538,
1358
+ "learning_rate": 0.000175344262295082,
1359
+ "loss": 0.2803,
1360
+ "step": 3860
1361
+ },
1362
+ {
1363
+ "epoch": 18.93837705918243,
1364
+ "grad_norm": 4.888127326965332,
1365
+ "learning_rate": 0.00017521311475409836,
1366
+ "loss": 0.2902,
1367
+ "step": 3880
1368
+ },
1369
+ {
1370
+ "epoch": 19.03599755948749,
1371
+ "grad_norm": 3.475789785385132,
1372
+ "learning_rate": 0.00017508196721311475,
1373
+ "loss": 0.2815,
1374
+ "step": 3900
1375
+ },
1376
+ {
1377
+ "epoch": 19.133618059792557,
1378
+ "grad_norm": 2.57926607131958,
1379
+ "learning_rate": 0.00017495081967213116,
1380
+ "loss": 0.21,
1381
+ "step": 3920
1382
+ },
1383
+ {
1384
+ "epoch": 19.23123856009762,
1385
+ "grad_norm": 3.3455469608306885,
1386
+ "learning_rate": 0.00017481967213114753,
1387
+ "loss": 0.232,
1388
+ "step": 3940
1389
+ },
1390
+ {
1391
+ "epoch": 19.328859060402685,
1392
+ "grad_norm": 3.574331045150757,
1393
+ "learning_rate": 0.00017468852459016394,
1394
+ "loss": 0.2506,
1395
+ "step": 3960
1396
+ },
1397
+ {
1398
+ "epoch": 19.426479560707747,
1399
+ "grad_norm": 4.422223091125488,
1400
+ "learning_rate": 0.00017455737704918033,
1401
+ "loss": 0.2494,
1402
+ "step": 3980
1403
+ },
1404
+ {
1405
+ "epoch": 19.524100061012813,
1406
+ "grad_norm": 3.8312060832977295,
1407
+ "learning_rate": 0.00017442622950819675,
1408
+ "loss": 0.2758,
1409
+ "step": 4000
1410
+ },
1411
+ {
1412
+ "epoch": 19.621720561317876,
1413
+ "grad_norm": 3.464089870452881,
1414
+ "learning_rate": 0.0001742950819672131,
1415
+ "loss": 0.2628,
1416
+ "step": 4020
1417
+ },
1418
+ {
1419
+ "epoch": 19.71934106162294,
1420
+ "grad_norm": 4.096322536468506,
1421
+ "learning_rate": 0.0001741639344262295,
1422
+ "loss": 0.2651,
1423
+ "step": 4040
1424
+ },
1425
+ {
1426
+ "epoch": 19.816961561928004,
1427
+ "grad_norm": 5.72092866897583,
1428
+ "learning_rate": 0.00017403278688524592,
1429
+ "loss": 0.29,
1430
+ "step": 4060
1431
+ },
1432
+ {
1433
+ "epoch": 19.91458206223307,
1434
+ "grad_norm": 3.7189135551452637,
1435
+ "learning_rate": 0.0001739016393442623,
1436
+ "loss": 0.2715,
1437
+ "step": 4080
1438
+ },
1439
+ {
1440
+ "epoch": 20.012202562538132,
1441
+ "grad_norm": 3.4471986293792725,
1442
+ "learning_rate": 0.0001737704918032787,
1443
+ "loss": 0.2762,
1444
+ "step": 4100
1445
+ },
1446
+ {
1447
+ "epoch": 20.109823062843198,
1448
+ "grad_norm": 3.046600580215454,
1449
+ "learning_rate": 0.00017363934426229509,
1450
+ "loss": 0.2219,
1451
+ "step": 4120
1452
+ },
1453
+ {
1454
+ "epoch": 20.20744356314826,
1455
+ "grad_norm": 3.6281490325927734,
1456
+ "learning_rate": 0.0001735081967213115,
1457
+ "loss": 0.231,
1458
+ "step": 4140
1459
+ },
1460
+ {
1461
+ "epoch": 20.305064063453326,
1462
+ "grad_norm": 2.8515024185180664,
1463
+ "learning_rate": 0.00017337704918032786,
1464
+ "loss": 0.2212,
1465
+ "step": 4160
1466
+ },
1467
+ {
1468
+ "epoch": 20.40268456375839,
1469
+ "grad_norm": 2.9778804779052734,
1470
+ "learning_rate": 0.00017324590163934425,
1471
+ "loss": 0.2327,
1472
+ "step": 4180
1473
+ },
1474
+ {
1475
+ "epoch": 20.500305064063454,
1476
+ "grad_norm": 2.92470121383667,
1477
+ "learning_rate": 0.00017311475409836067,
1478
+ "loss": 0.2378,
1479
+ "step": 4200
1480
+ },
1481
+ {
1482
+ "epoch": 20.597925564368516,
1483
+ "grad_norm": 3.8426191806793213,
1484
+ "learning_rate": 0.00017298360655737706,
1485
+ "loss": 0.2652,
1486
+ "step": 4220
1487
+ },
1488
+ {
1489
+ "epoch": 20.695546064673582,
1490
+ "grad_norm": 3.8123021125793457,
1491
+ "learning_rate": 0.00017285245901639345,
1492
+ "loss": 0.2446,
1493
+ "step": 4240
1494
+ },
1495
+ {
1496
+ "epoch": 20.793166564978645,
1497
+ "grad_norm": 3.650644540786743,
1498
+ "learning_rate": 0.00017272131147540984,
1499
+ "loss": 0.2331,
1500
+ "step": 4260
1501
+ },
1502
+ {
1503
+ "epoch": 20.89078706528371,
1504
+ "grad_norm": 4.259769916534424,
1505
+ "learning_rate": 0.00017259016393442625,
1506
+ "loss": 0.2595,
1507
+ "step": 4280
1508
+ },
1509
+ {
1510
+ "epoch": 20.988407565588773,
1511
+ "grad_norm": 4.065052509307861,
1512
+ "learning_rate": 0.00017245901639344264,
1513
+ "loss": 0.2672,
1514
+ "step": 4300
1515
+ },
1516
+ {
1517
+ "epoch": 21.08602806589384,
1518
+ "grad_norm": 3.565068244934082,
1519
+ "learning_rate": 0.000172327868852459,
1520
+ "loss": 0.1997,
1521
+ "step": 4320
1522
+ },
1523
+ {
1524
+ "epoch": 21.1836485661989,
1525
+ "grad_norm": 3.036924362182617,
1526
+ "learning_rate": 0.00017219672131147542,
1527
+ "loss": 0.1936,
1528
+ "step": 4340
1529
+ },
1530
+ {
1531
+ "epoch": 21.281269066503967,
1532
+ "grad_norm": 3.2253048419952393,
1533
+ "learning_rate": 0.0001720655737704918,
1534
+ "loss": 0.2099,
1535
+ "step": 4360
1536
+ },
1537
+ {
1538
+ "epoch": 21.37888956680903,
1539
+ "grad_norm": 3.6241676807403564,
1540
+ "learning_rate": 0.0001719344262295082,
1541
+ "loss": 0.2232,
1542
+ "step": 4380
1543
+ },
1544
+ {
1545
+ "epoch": 21.476510067114095,
1546
+ "grad_norm": 3.3272531032562256,
1547
+ "learning_rate": 0.0001718032786885246,
1548
+ "loss": 0.2103,
1549
+ "step": 4400
1550
+ },
1551
+ {
1552
+ "epoch": 21.574130567419157,
1553
+ "grad_norm": 3.6076695919036865,
1554
+ "learning_rate": 0.00017167213114754098,
1555
+ "loss": 0.2323,
1556
+ "step": 4420
1557
+ },
1558
+ {
1559
+ "epoch": 21.671751067724223,
1560
+ "grad_norm": 3.642751455307007,
1561
+ "learning_rate": 0.0001715409836065574,
1562
+ "loss": 0.2385,
1563
+ "step": 4440
1564
+ },
1565
+ {
1566
+ "epoch": 21.769371568029285,
1567
+ "grad_norm": 3.1882801055908203,
1568
+ "learning_rate": 0.00017140983606557376,
1569
+ "loss": 0.2516,
1570
+ "step": 4460
1571
+ },
1572
+ {
1573
+ "epoch": 21.86699206833435,
1574
+ "grad_norm": 3.4758126735687256,
1575
+ "learning_rate": 0.00017127868852459018,
1576
+ "loss": 0.2365,
1577
+ "step": 4480
1578
+ },
1579
+ {
1580
+ "epoch": 21.964612568639414,
1581
+ "grad_norm": 3.498697519302368,
1582
+ "learning_rate": 0.00017114754098360656,
1583
+ "loss": 0.2436,
1584
+ "step": 4500
1585
+ },
1586
+ {
1587
+ "epoch": 22.06223306894448,
1588
+ "grad_norm": 3.926394462585449,
1589
+ "learning_rate": 0.00017101639344262298,
1590
+ "loss": 0.2101,
1591
+ "step": 4520
1592
+ },
1593
+ {
1594
+ "epoch": 22.15985356924954,
1595
+ "grad_norm": 2.982520580291748,
1596
+ "learning_rate": 0.00017088524590163934,
1597
+ "loss": 0.1655,
1598
+ "step": 4540
1599
+ },
1600
+ {
1601
+ "epoch": 22.257474069554608,
1602
+ "grad_norm": 3.843905448913574,
1603
+ "learning_rate": 0.00017075409836065573,
1604
+ "loss": 0.1896,
1605
+ "step": 4560
1606
+ },
1607
+ {
1608
+ "epoch": 22.35509456985967,
1609
+ "grad_norm": 2.8714027404785156,
1610
+ "learning_rate": 0.00017062295081967215,
1611
+ "loss": 0.2113,
1612
+ "step": 4580
1613
+ },
1614
+ {
1615
+ "epoch": 22.452715070164736,
1616
+ "grad_norm": 3.552220344543457,
1617
+ "learning_rate": 0.0001704918032786885,
1618
+ "loss": 0.2311,
1619
+ "step": 4600
1620
+ },
1621
+ {
1622
+ "epoch": 22.550335570469798,
1623
+ "grad_norm": 4.077561378479004,
1624
+ "learning_rate": 0.00017036065573770493,
1625
+ "loss": 0.2205,
1626
+ "step": 4620
1627
+ },
1628
+ {
1629
+ "epoch": 22.647956070774864,
1630
+ "grad_norm": 3.475970506668091,
1631
+ "learning_rate": 0.00017022950819672132,
1632
+ "loss": 0.2047,
1633
+ "step": 4640
1634
+ },
1635
+ {
1636
+ "epoch": 22.745576571079926,
1637
+ "grad_norm": 2.9817659854888916,
1638
+ "learning_rate": 0.00017009836065573773,
1639
+ "loss": 0.2312,
1640
+ "step": 4660
1641
+ },
1642
+ {
1643
+ "epoch": 22.843197071384992,
1644
+ "grad_norm": 2.8980283737182617,
1645
+ "learning_rate": 0.0001699672131147541,
1646
+ "loss": 0.2113,
1647
+ "step": 4680
1648
+ },
1649
+ {
1650
+ "epoch": 22.940817571690054,
1651
+ "grad_norm": 2.9917445182800293,
1652
+ "learning_rate": 0.00016983606557377049,
1653
+ "loss": 0.2334,
1654
+ "step": 4700
1655
+ },
1656
+ {
1657
+ "epoch": 23.03843807199512,
1658
+ "grad_norm": 2.9001080989837646,
1659
+ "learning_rate": 0.0001697049180327869,
1660
+ "loss": 0.2096,
1661
+ "step": 4720
1662
+ },
1663
+ {
1664
+ "epoch": 23.136058572300183,
1665
+ "grad_norm": 2.7678308486938477,
1666
+ "learning_rate": 0.0001695737704918033,
1667
+ "loss": 0.18,
1668
+ "step": 4740
1669
+ },
1670
+ {
1671
+ "epoch": 23.23367907260525,
1672
+ "grad_norm": 4.077008247375488,
1673
+ "learning_rate": 0.00016944262295081968,
1674
+ "loss": 0.175,
1675
+ "step": 4760
1676
+ },
1677
+ {
1678
+ "epoch": 23.33129957291031,
1679
+ "grad_norm": 3.806175708770752,
1680
+ "learning_rate": 0.00016931147540983607,
1681
+ "loss": 0.1962,
1682
+ "step": 4780
1683
+ },
1684
+ {
1685
+ "epoch": 23.428920073215377,
1686
+ "grad_norm": 3.203763246536255,
1687
+ "learning_rate": 0.00016918032786885249,
1688
+ "loss": 0.2072,
1689
+ "step": 4800
1690
+ },
1691
+ {
1692
+ "epoch": 23.52654057352044,
1693
+ "grad_norm": 3.717864513397217,
1694
+ "learning_rate": 0.00016904918032786885,
1695
+ "loss": 0.203,
1696
+ "step": 4820
1697
+ },
1698
+ {
1699
+ "epoch": 23.624161073825505,
1700
+ "grad_norm": 3.1602675914764404,
1701
+ "learning_rate": 0.00016891803278688524,
1702
+ "loss": 0.1925,
1703
+ "step": 4840
1704
+ },
1705
+ {
1706
+ "epoch": 23.721781574130567,
1707
+ "grad_norm": 4.2820000648498535,
1708
+ "learning_rate": 0.00016878688524590165,
1709
+ "loss": 0.2037,
1710
+ "step": 4860
1711
+ },
1712
+ {
1713
+ "epoch": 23.819402074435633,
1714
+ "grad_norm": 3.9633703231811523,
1715
+ "learning_rate": 0.00016865573770491804,
1716
+ "loss": 0.2143,
1717
+ "step": 4880
1718
+ },
1719
+ {
1720
+ "epoch": 23.917022574740695,
1721
+ "grad_norm": 2.801804542541504,
1722
+ "learning_rate": 0.00016852459016393443,
1723
+ "loss": 0.1938,
1724
+ "step": 4900
1725
+ },
1726
+ {
1727
+ "epoch": 24.01464307504576,
1728
+ "grad_norm": 2.719308614730835,
1729
+ "learning_rate": 0.00016839344262295082,
1730
+ "loss": 0.215,
1731
+ "step": 4920
1732
+ },
1733
+ {
1734
+ "epoch": 24.112263575350823,
1735
+ "grad_norm": 3.0437123775482178,
1736
+ "learning_rate": 0.0001682622950819672,
1737
+ "loss": 0.1806,
1738
+ "step": 4940
1739
+ },
1740
+ {
1741
+ "epoch": 24.20988407565589,
1742
+ "grad_norm": 3.314267158508301,
1743
+ "learning_rate": 0.00016813114754098363,
1744
+ "loss": 0.169,
1745
+ "step": 4960
1746
+ },
1747
+ {
1748
+ "epoch": 24.30750457596095,
1749
+ "grad_norm": 2.26737117767334,
1750
+ "learning_rate": 0.000168,
1751
+ "loss": 0.1704,
1752
+ "step": 4980
1753
+ },
1754
+ {
1755
+ "epoch": 24.405125076266017,
1756
+ "grad_norm": 4.0000715255737305,
1757
+ "learning_rate": 0.0001678688524590164,
1758
+ "loss": 0.176,
1759
+ "step": 5000
1760
+ }
1761
+ ],
1762
+ "logging_steps": 20,
1763
+ "max_steps": 30600,
1764
+ "num_input_tokens_seen": 0,
1765
+ "num_train_epochs": 150,
1766
+ "save_steps": 500,
1767
+ "stateful_callbacks": {
1768
+ "TrainerControl": {
1769
+ "args": {
1770
+ "should_epoch_stop": false,
1771
+ "should_evaluate": false,
1772
+ "should_log": false,
1773
+ "should_save": true,
1774
+ "should_training_stop": false
1775
+ },
1776
+ "attributes": {}
1777
+ }
1778
+ },
1779
+ "total_flos": 6.574589658966067e+16,
1780
+ "train_batch_size": 1,
1781
+ "trial_name": null,
1782
+ "trial_params": null
1783
+ }