benzhou commited on
Commit
129e2cf
1 Parent(s): c13b490

Upload 9 files

Browse files
config.json ADDED
@@ -0,0 +1,51 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "architectures": [
3
+ "T5ForConditionalGeneration"
4
+ ],
5
+ "d_ff": 16384,
6
+ "d_kv": 128,
7
+ "d_model": 1024,
8
+ "decoder_start_token_id": 0,
9
+ "dropout_rate": 0.1,
10
+ "eos_token_id": 1,
11
+ "initializer_factor": 1.0,
12
+ "is_encoder_decoder": true,
13
+ "layer_norm_epsilon": 1e-06,
14
+ "model_type": "t5",
15
+ "n_positions": 512,
16
+ "num_heads": 32,
17
+ "num_layers": 24,
18
+ "output_past": true,
19
+ "pad_token_id": 0,
20
+ "relative_attention_num_buckets": 32,
21
+ "task_specific_params": {
22
+ "summarization": {
23
+ "early_stopping": true,
24
+ "length_penalty": 2.0,
25
+ "max_length": 200,
26
+ "min_length": 30,
27
+ "no_repeat_ngram_size": 3,
28
+ "num_beams": 4,
29
+ "prefix": "summarize: "
30
+ },
31
+ "translation_en_to_de": {
32
+ "early_stopping": true,
33
+ "max_length": 300,
34
+ "num_beams": 4,
35
+ "prefix": "translate English to German: "
36
+ },
37
+ "translation_en_to_fr": {
38
+ "early_stopping": true,
39
+ "max_length": 300,
40
+ "num_beams": 4,
41
+ "prefix": "translate English to French: "
42
+ },
43
+ "translation_en_to_ro": {
44
+ "early_stopping": true,
45
+ "max_length": 300,
46
+ "num_beams": 4,
47
+ "prefix": "translate English to Romanian: "
48
+ }
49
+ },
50
+ "vocab_size": 32100
51
+ }
eval_probs.txt ADDED
@@ -0,0 +1,500 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+
2
+
3
+
4
+
5
+
6
+
7
+
8
+
9
+
10
+
11
+
12
+
13
+
14
+
15
+
16
+
17
+
18
+
19
+
20
+
21
+
22
+
23
+
24
+
25
+
26
+
27
+
28
+
29
+
30
+
31
+
32
+
33
+
34
+
35
+
36
+
37
+
38
+
39
+
40
+
41
+
42
+
43
+
44
+
45
+
46
+
47
+
48
+
49
+
50
+
51
+
52
+
53
+
54
+
55
+
56
+
57
+
58
+
59
+
60
+
61
+
62
+
63
+
64
+
65
+
66
+
67
+
68
+
69
+
70
+
71
+
72
+
73
+
74
+
75
+
76
+
77
+
78
+
79
+
80
+
81
+
82
+
83
+
84
+
85
+
86
+
87
+
88
+
89
+
90
+
91
+
92
+
93
+
94
+
95
+
96
+
97
+
98
+
99
+
100
+
101
+
102
+
103
+
104
+
105
+
106
+
107
+
108
+
109
+
110
+
111
+
112
+
113
+
114
+
115
+
116
+
117
+
118
+
119
+
120
+
121
+
122
+
123
+
124
+
125
+
126
+
127
+
128
+
129
+
130
+
131
+
132
+
133
+
134
+
135
+
136
+
137
+
138
+
139
+
140
+
141
+
142
+
143
+
144
+
145
+
146
+
147
+
148
+
149
+
150
+
151
+
152
+
153
+
154
+
155
+
156
+
157
+
158
+
159
+
160
+
161
+
162
+
163
+
164
+
165
+
166
+
167
+
168
+
169
+
170
+
171
+
172
+
173
+
174
+
175
+
176
+
177
+
178
+
179
+
180
+
181
+
182
+
183
+
184
+
185
+
186
+
187
+
188
+
189
+
190
+
191
+
192
+
193
+
194
+
195
+
196
+
197
+
198
+
199
+
200
+
201
+
202
+
203
+
204
+
205
+
206
+
207
+
208
+
209
+
210
+
211
+
212
+
213
+
214
+
215
+
216
+
217
+
218
+
219
+
220
+
221
+
222
+
223
+
224
+
225
+
226
+
227
+
228
+
229
+
230
+
231
+
232
+
233
+
234
+
235
+
236
+
237
+
238
+
239
+
240
+
241
+
242
+
243
+
244
+
245
+
246
+
247
+
248
+
249
+
250
+
251
+
252
+
253
+
254
+
255
+
256
+
257
+
258
+
259
+
260
+
261
+
262
+
263
+
264
+
265
+
266
+
267
+
268
+
269
+
270
+
271
+
272
+
273
+
274
+
275
+
276
+
277
+
278
+
279
+
280
+
281
+
282
+
283
+
284
+
285
+
286
+
287
+
288
+
289
+
290
+
291
+
292
+
293
+
294
+
295
+
296
+
297
+
298
+
299
+
300
+
301
+
302
+
303
+
304
+
305
+
306
+
307
+
308
+
309
+
310
+
311
+
312
+
313
+
314
+
315
+
316
+
317
+
318
+
319
+
320
+
321
+
322
+
323
+
324
+
325
+
326
+
327
+
328
+
329
+
330
+
331
+
332
+
333
+
334
+
335
+
336
+
337
+
338
+
339
+
340
+
341
+
342
+
343
+
344
+
345
+
346
+
347
+
348
+
349
+
350
+
351
+
352
+
353
+
354
+
355
+
356
+
357
+
358
+
359
+
360
+
361
+
362
+
363
+
364
+
365
+
366
+
367
+
368
+
369
+
370
+
371
+
372
+
373
+
374
+
375
+
376
+
377
+
378
+
379
+
380
+
381
+
382
+
383
+
384
+
385
+
386
+
387
+
388
+
389
+
390
+
391
+
392
+
393
+
394
+
395
+
396
+
397
+
398
+
399
+
400
+
401
+
402
+
403
+
404
+
405
+
406
+
407
+
408
+
409
+
410
+
411
+
412
+
413
+
414
+
415
+
416
+
417
+
418
+
419
+
420
+
421
+
422
+
423
+
424
+
425
+
426
+
427
+
428
+
429
+
430
+
431
+
432
+
433
+
434
+
435
+
436
+
437
+
438
+
439
+
440
+
441
+
442
+
443
+
444
+
445
+
446
+
447
+
448
+
449
+
450
+
451
+
452
+
453
+
454
+
455
+
456
+
457
+
458
+
459
+
460
+
461
+
462
+
463
+
464
+
465
+
466
+
467
+
468
+
469
+
470
+
471
+
472
+
473
+
474
+
475
+
476
+
477
+
478
+
479
+
480
+
481
+
482
+
483
+
484
+
485
+
486
+
487
+
488
+
489
+
490
+
491
+
492
+
493
+
494
+
495
+
496
+
497
+
498
+
499
+
500
+
eval_results_lm.txt ADDED
@@ -0,0 +1,500 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ no
2
+ no
3
+ no
4
+ no
5
+ no
6
+ no
7
+ yes
8
+ yes
9
+ yes
10
+ yes
11
+ no
12
+ no
13
+ no
14
+ no
15
+ no
16
+ yes
17
+ yes
18
+ yes
19
+ no
20
+ yes
21
+ no
22
+ yes
23
+ no
24
+ no
25
+ no
26
+ no
27
+ no
28
+ no
29
+ no
30
+ no
31
+ no
32
+ no
33
+ no
34
+ no
35
+ no
36
+ no
37
+ no
38
+ no
39
+ no
40
+ no
41
+ yes
42
+ no
43
+ yes
44
+ no
45
+ yes
46
+ yes
47
+ yes
48
+ no
49
+ no
50
+ no
51
+ no
52
+ no
53
+ no
54
+ no
55
+ no
56
+ no
57
+ no
58
+ yes
59
+ no
60
+ no
61
+ yes
62
+ no
63
+ no
64
+ yes
65
+ no
66
+ no
67
+ no
68
+ yes
69
+ no
70
+ no
71
+ yes
72
+ yes
73
+ yes
74
+ no
75
+ no
76
+ no
77
+ no
78
+ no
79
+ no
80
+ no
81
+ yes
82
+ yes
83
+ yes
84
+ yes
85
+ no
86
+ no
87
+ no
88
+ no
89
+ no
90
+ yes
91
+ no
92
+ no
93
+ no
94
+ no
95
+ no
96
+ yes
97
+ yes
98
+ yes
99
+ yes
100
+ no
101
+ no
102
+ no
103
+ no
104
+ no
105
+ no
106
+ yes
107
+ yes
108
+ yes
109
+ yes
110
+ yes
111
+ yes
112
+ yes
113
+ yes
114
+ yes
115
+ yes
116
+ yes
117
+ yes
118
+ yes
119
+ yes
120
+ yes
121
+ yes
122
+ yes
123
+ no
124
+ no
125
+ yes
126
+ no
127
+ yes
128
+ yes
129
+ yes
130
+ yes
131
+ no
132
+ yes
133
+ no
134
+ no
135
+ no
136
+ no
137
+ no
138
+ no
139
+ no
140
+ yes
141
+ yes
142
+ yes
143
+ yes
144
+ yes
145
+ yes
146
+ no
147
+ yes
148
+ no
149
+ no
150
+ no
151
+ no
152
+ no
153
+ yes
154
+ yes
155
+ no
156
+ no
157
+ no
158
+ no
159
+ no
160
+ no
161
+ yes
162
+ yes
163
+ yes
164
+ yes
165
+ no
166
+ no
167
+ no
168
+ no
169
+ no
170
+ no
171
+ no
172
+ no
173
+ no
174
+ no
175
+ no
176
+ yes
177
+ no
178
+ no
179
+ no
180
+ no
181
+ yes
182
+ yes
183
+ no
184
+ yes
185
+ yes
186
+ no
187
+ no
188
+ no
189
+ no
190
+ no
191
+ no
192
+ no
193
+ no
194
+ no
195
+ no
196
+ yes
197
+ yes
198
+ yes
199
+ yes
200
+ yes
201
+ no
202
+ no
203
+ no
204
+ no
205
+ no
206
+ no
207
+ no
208
+ no
209
+ no
210
+ no
211
+ no
212
+ no
213
+ no
214
+ no
215
+ no
216
+ no
217
+ no
218
+ yes
219
+ no
220
+ no
221
+ no
222
+ no
223
+ no
224
+ yes
225
+ no
226
+ yes
227
+ yes
228
+ yes
229
+ yes
230
+ yes
231
+ no
232
+ no
233
+ no
234
+ no
235
+ no
236
+ no
237
+ no
238
+ yes
239
+ no
240
+ no
241
+ yes
242
+ no
243
+ yes
244
+ no
245
+ no
246
+ no
247
+ no
248
+ no
249
+ no
250
+ no
251
+ yes
252
+ no
253
+ yes
254
+ yes
255
+ yes
256
+ no
257
+ no
258
+ no
259
+ no
260
+ no
261
+ no
262
+ no
263
+ no
264
+ no
265
+ no
266
+ no
267
+ no
268
+ no
269
+ no
270
+ no
271
+ no
272
+ yes
273
+ yes
274
+ no
275
+ no
276
+ no
277
+ no
278
+ no
279
+ no
280
+ no
281
+ no
282
+ no
283
+ no
284
+ yes
285
+ no
286
+ no
287
+ no
288
+ no
289
+ no
290
+ no
291
+ no
292
+ no
293
+ no
294
+ no
295
+ no
296
+ no
297
+ no
298
+ no
299
+ no
300
+ no
301
+ yes
302
+ no
303
+ no
304
+ no
305
+ no
306
+ no
307
+ no
308
+ no
309
+ no
310
+ no
311
+ no
312
+ yes
313
+ no
314
+ no
315
+ no
316
+ no
317
+ yes
318
+ no
319
+ no
320
+ no
321
+ no
322
+ no
323
+ no
324
+ no
325
+ no
326
+ no
327
+ yes
328
+ yes
329
+ yes
330
+ yes
331
+ no
332
+ no
333
+ no
334
+ no
335
+ no
336
+ no
337
+ no
338
+ no
339
+ no
340
+ no
341
+ yes
342
+ no
343
+ no
344
+ yes
345
+ no
346
+ no
347
+ yes
348
+ yes
349
+ yes
350
+ yes
351
+ no
352
+ no
353
+ no
354
+ no
355
+ no
356
+ no
357
+ yes
358
+ yes
359
+ yes
360
+ no
361
+ no
362
+ no
363
+ no
364
+ no
365
+ no
366
+ yes
367
+ yes
368
+ yes
369
+ yes
370
+ yes
371
+ no
372
+ no
373
+ no
374
+ no
375
+ no
376
+ yes
377
+ no
378
+ yes
379
+ yes
380
+ yes
381
+ yes
382
+ yes
383
+ yes
384
+ yes
385
+ yes
386
+ no
387
+ no
388
+ no
389
+ no
390
+ no
391
+ no
392
+ no
393
+ no
394
+ no
395
+ no
396
+ yes
397
+ yes
398
+ no
399
+ yes
400
+ yes
401
+ no
402
+ no
403
+ no
404
+ no
405
+ no
406
+ no
407
+ no
408
+ no
409
+ no
410
+ no
411
+ no
412
+ no
413
+ no
414
+ no
415
+ no
416
+ yes
417
+ yes
418
+ no
419
+ yes
420
+ yes
421
+ no
422
+ no
423
+ no
424
+ no
425
+ no
426
+ no
427
+ no
428
+ no
429
+ no
430
+ no
431
+ yes
432
+ no
433
+ no
434
+ yes
435
+ no
436
+ no
437
+ no
438
+ no
439
+ no
440
+ no
441
+ yes
442
+ no
443
+ yes
444
+ yes
445
+ no
446
+ yes
447
+ no
448
+ no
449
+ no
450
+ no
451
+ no
452
+ no
453
+ no
454
+ no
455
+ no
456
+ no
457
+ no
458
+ no
459
+ no
460
+ no
461
+ no
462
+ no
463
+ no
464
+ no
465
+ no
466
+ no
467
+ no
468
+ no
469
+ no
470
+ no
471
+ no
472
+ no
473
+ no
474
+ no
475
+ yes
476
+ no
477
+ no
478
+ no
479
+ no
480
+ no
481
+ no
482
+ no
483
+ no
484
+ no
485
+ no
486
+ yes
487
+ no
488
+ no
489
+ no
490
+ no
491
+ no
492
+ no
493
+ no
494
+ no
495
+ no
496
+ no
497
+ no
498
+ no
499
+ no
500
+ no
input_ids.txt ADDED
The diff for this file is too large to render. See raw diff
 
pytorch_model.bin ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:7df3a6301fdde45125e68df439c6c4fbdebcfe18ea531aaf19e7836ebdce1175
3
+ size 11406531553
special_tokens_map.json ADDED
@@ -0,0 +1 @@
 
 
1
+ {"eos_token": "</s>", "unk_token": "<unk>", "pad_token": "<pad>", "additional_special_tokens": ["<extra_id_0>", "<extra_id_1>", "<extra_id_2>", "<extra_id_3>", "<extra_id_4>", "<extra_id_5>", "<extra_id_6>", "<extra_id_7>", "<extra_id_8>", "<extra_id_9>", "<extra_id_10>", "<extra_id_11>", "<extra_id_12>", "<extra_id_13>", "<extra_id_14>", "<extra_id_15>", "<extra_id_16>", "<extra_id_17>", "<extra_id_18>", "<extra_id_19>", "<extra_id_20>", "<extra_id_21>", "<extra_id_22>", "<extra_id_23>", "<extra_id_24>", "<extra_id_25>", "<extra_id_26>", "<extra_id_27>", "<extra_id_28>", "<extra_id_29>", "<extra_id_30>", "<extra_id_31>", "<extra_id_32>", "<extra_id_33>", "<extra_id_34>", "<extra_id_35>", "<extra_id_36>", "<extra_id_37>", "<extra_id_38>", "<extra_id_39>", "<extra_id_40>", "<extra_id_41>", "<extra_id_42>", "<extra_id_43>", "<extra_id_44>", "<extra_id_45>", "<extra_id_46>", "<extra_id_47>", "<extra_id_48>", "<extra_id_49>", "<extra_id_50>", "<extra_id_51>", "<extra_id_52>", "<extra_id_53>", "<extra_id_54>", "<extra_id_55>", "<extra_id_56>", "<extra_id_57>", "<extra_id_58>", "<extra_id_59>", "<extra_id_60>", "<extra_id_61>", "<extra_id_62>", "<extra_id_63>", "<extra_id_64>", "<extra_id_65>", "<extra_id_66>", "<extra_id_67>", "<extra_id_68>", "<extra_id_69>", "<extra_id_70>", "<extra_id_71>", "<extra_id_72>", "<extra_id_73>", "<extra_id_74>", "<extra_id_75>", "<extra_id_76>", "<extra_id_77>", "<extra_id_78>", "<extra_id_79>", "<extra_id_80>", "<extra_id_81>", "<extra_id_82>", "<extra_id_83>", "<extra_id_84>", "<extra_id_85>", "<extra_id_86>", "<extra_id_87>", "<extra_id_88>", "<extra_id_89>", "<extra_id_90>", "<extra_id_91>", "<extra_id_92>", "<extra_id_93>", "<extra_id_94>", "<extra_id_95>", "<extra_id_96>", "<extra_id_97>", "<extra_id_98>", "<extra_id_99>"]}
spiece.model ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:d60acb128cf7b7f2536e8f38a5b18a05535c9e14c7a355904270e15b0945ea86
3
+ size 791656
tokenizer_config.json ADDED
@@ -0,0 +1 @@
 
 
1
+ {"model_max_length": 512}
training_args.bin ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:67d279f8da1be1e30fbd4ad1203790286cf79aecf4674247bcea95056c3078ce
3
+ size 1327