orendar commited on
Commit
203bf26
1 Parent(s): 2c0f395

Upload folder using huggingface_hub

Browse files
Files changed (5) hide show
  1. config.json +103 -1253
  2. model.bin +2 -2
  3. preprocessor_config.json +14 -0
  4. tokenizer.json +0 -0
  5. vocabulary.json +41 -2
config.json CHANGED
@@ -1,1284 +1,44 @@
1
  {
2
  "alignment_heads": [
3
  [
4
- 16,
5
- 0
6
- ],
7
- [
8
- 16,
9
- 1
10
- ],
11
- [
12
- 16,
13
- 2
14
- ],
15
- [
16
- 16,
17
- 3
18
- ],
19
- [
20
- 16,
21
- 4
22
- ],
23
- [
24
- 16,
25
- 5
26
- ],
27
- [
28
- 16,
29
- 6
30
- ],
31
- [
32
- 16,
33
- 7
34
- ],
35
- [
36
- 16,
37
- 8
38
- ],
39
- [
40
- 16,
41
- 9
42
- ],
43
- [
44
- 16,
45
- 10
46
- ],
47
- [
48
- 16,
49
- 11
50
- ],
51
- [
52
- 16,
53
- 12
54
- ],
55
- [
56
- 16,
57
- 13
58
- ],
59
- [
60
- 16,
61
- 14
62
- ],
63
- [
64
- 16,
65
- 15
66
- ],
67
- [
68
- 16,
69
- 16
70
- ],
71
- [
72
- 16,
73
- 17
74
- ],
75
- [
76
- 16,
77
- 18
78
- ],
79
- [
80
- 16,
81
- 19
82
- ],
83
- [
84
- 17,
85
- 0
86
- ],
87
- [
88
- 17,
89
- 1
90
- ],
91
- [
92
- 17,
93
- 2
94
- ],
95
- [
96
- 17,
97
- 3
98
- ],
99
- [
100
- 17,
101
- 4
102
- ],
103
- [
104
- 17,
105
- 5
106
- ],
107
- [
108
- 17,
109
- 6
110
- ],
111
- [
112
- 17,
113
- 7
114
- ],
115
- [
116
- 17,
117
- 8
118
- ],
119
- [
120
- 17,
121
- 9
122
- ],
123
- [
124
- 17,
125
- 10
126
- ],
127
- [
128
- 17,
129
- 11
130
- ],
131
- [
132
- 17,
133
- 12
134
- ],
135
- [
136
- 17,
137
- 13
138
- ],
139
- [
140
- 17,
141
- 14
142
- ],
143
- [
144
- 17,
145
- 15
146
- ],
147
- [
148
- 17,
149
- 16
150
- ],
151
- [
152
- 17,
153
- 17
154
- ],
155
- [
156
- 17,
157
- 18
158
- ],
159
- [
160
- 17,
161
- 19
162
- ],
163
- [
164
- 18,
165
- 0
166
- ],
167
- [
168
- 18,
169
- 1
170
- ],
171
- [
172
- 18,
173
- 2
174
- ],
175
- [
176
- 18,
177
- 3
178
- ],
179
- [
180
- 18,
181
- 4
182
- ],
183
- [
184
- 18,
185
- 5
186
- ],
187
- [
188
- 18,
189
- 6
190
- ],
191
- [
192
- 18,
193
- 7
194
- ],
195
- [
196
- 18,
197
- 8
198
- ],
199
- [
200
- 18,
201
- 9
202
- ],
203
- [
204
- 18,
205
- 10
206
- ],
207
- [
208
- 18,
209
- 11
210
- ],
211
- [
212
- 18,
213
- 12
214
- ],
215
- [
216
- 18,
217
- 13
218
- ],
219
- [
220
- 18,
221
- 14
222
- ],
223
- [
224
- 18,
225
- 15
226
- ],
227
- [
228
- 18,
229
- 16
230
- ],
231
- [
232
- 18,
233
- 17
234
- ],
235
- [
236
- 18,
237
- 18
238
- ],
239
- [
240
- 18,
241
- 19
242
- ],
243
- [
244
- 19,
245
- 0
246
- ],
247
- [
248
- 19,
249
- 1
250
- ],
251
- [
252
- 19,
253
- 2
254
- ],
255
- [
256
- 19,
257
- 3
258
- ],
259
- [
260
- 19,
261
- 4
262
- ],
263
- [
264
- 19,
265
- 5
266
- ],
267
- [
268
- 19,
269
- 6
270
- ],
271
- [
272
- 19,
273
- 7
274
- ],
275
- [
276
- 19,
277
- 8
278
- ],
279
- [
280
- 19,
281
- 9
282
- ],
283
- [
284
- 19,
285
- 10
286
- ],
287
- [
288
- 19,
289
- 11
290
- ],
291
- [
292
- 19,
293
- 12
294
- ],
295
- [
296
- 19,
297
- 13
298
- ],
299
- [
300
- 19,
301
- 14
302
- ],
303
- [
304
- 19,
305
- 15
306
- ],
307
- [
308
- 19,
309
- 16
310
- ],
311
- [
312
- 19,
313
- 17
314
- ],
315
- [
316
- 19,
317
- 18
318
- ],
319
- [
320
- 19,
321
- 19
322
- ],
323
- [
324
- 20,
325
- 0
326
- ],
327
- [
328
- 20,
329
- 1
330
- ],
331
- [
332
- 20,
333
- 2
334
- ],
335
- [
336
- 20,
337
- 3
338
- ],
339
- [
340
- 20,
341
- 4
342
- ],
343
- [
344
- 20,
345
- 5
346
- ],
347
- [
348
- 20,
349
- 6
350
- ],
351
- [
352
- 20,
353
- 7
354
- ],
355
- [
356
- 20,
357
- 8
358
- ],
359
- [
360
- 20,
361
- 9
362
- ],
363
- [
364
- 20,
365
- 10
366
- ],
367
- [
368
- 20,
369
- 11
370
- ],
371
- [
372
- 20,
373
- 12
374
- ],
375
- [
376
- 20,
377
- 13
378
- ],
379
- [
380
- 20,
381
- 14
382
- ],
383
- [
384
- 20,
385
- 15
386
- ],
387
- [
388
- 20,
389
- 16
390
- ],
391
- [
392
- 20,
393
- 17
394
- ],
395
- [
396
- 20,
397
- 18
398
- ],
399
- [
400
- 20,
401
- 19
402
- ],
403
- [
404
- 21,
405
- 0
406
- ],
407
- [
408
- 21,
409
- 1
410
- ],
411
- [
412
- 21,
413
- 2
414
- ],
415
- [
416
- 21,
417
- 3
418
- ],
419
- [
420
- 21,
421
- 4
422
- ],
423
- [
424
- 21,
425
- 5
426
- ],
427
- [
428
- 21,
429
- 6
430
- ],
431
- [
432
- 21,
433
- 7
434
- ],
435
- [
436
- 21,
437
- 8
438
- ],
439
- [
440
- 21,
441
- 9
442
- ],
443
- [
444
- 21,
445
- 10
446
- ],
447
- [
448
- 21,
449
- 11
450
- ],
451
- [
452
- 21,
453
- 12
454
- ],
455
- [
456
- 21,
457
- 13
458
- ],
459
- [
460
- 21,
461
- 14
462
- ],
463
- [
464
- 21,
465
- 15
466
- ],
467
- [
468
- 21,
469
- 16
470
- ],
471
- [
472
- 21,
473
- 17
474
- ],
475
- [
476
- 21,
477
- 18
478
- ],
479
- [
480
- 21,
481
- 19
482
- ],
483
- [
484
- 22,
485
- 0
486
- ],
487
- [
488
- 22,
489
- 1
490
- ],
491
- [
492
- 22,
493
- 2
494
- ],
495
- [
496
- 22,
497
- 3
498
- ],
499
- [
500
- 22,
501
- 4
502
- ],
503
- [
504
- 22,
505
- 5
506
- ],
507
- [
508
- 22,
509
- 6
510
- ],
511
- [
512
- 22,
513
- 7
514
- ],
515
- [
516
- 22,
517
- 8
518
- ],
519
- [
520
- 22,
521
- 9
522
- ],
523
- [
524
- 22,
525
- 10
526
- ],
527
- [
528
- 22,
529
- 11
530
- ],
531
- [
532
- 22,
533
- 12
534
- ],
535
- [
536
- 22,
537
- 13
538
- ],
539
- [
540
- 22,
541
- 14
542
- ],
543
- [
544
- 22,
545
- 15
546
- ],
547
- [
548
- 22,
549
- 16
550
- ],
551
- [
552
- 22,
553
- 17
554
- ],
555
- [
556
- 22,
557
- 18
558
- ],
559
- [
560
- 22,
561
- 19
562
- ],
563
- [
564
- 23,
565
- 0
566
- ],
567
- [
568
- 23,
569
- 1
570
- ],
571
- [
572
- 23,
573
- 2
574
- ],
575
- [
576
- 23,
577
- 3
578
- ],
579
- [
580
- 23,
581
- 4
582
- ],
583
- [
584
- 23,
585
- 5
586
- ],
587
- [
588
- 23,
589
- 6
590
- ],
591
- [
592
- 23,
593
- 7
594
- ],
595
- [
596
- 23,
597
- 8
598
- ],
599
- [
600
- 23,
601
- 9
602
- ],
603
- [
604
- 23,
605
- 10
606
- ],
607
- [
608
- 23,
609
- 11
610
- ],
611
- [
612
- 23,
613
- 12
614
- ],
615
- [
616
- 23,
617
- 13
618
- ],
619
- [
620
- 23,
621
- 14
622
- ],
623
- [
624
- 23,
625
- 15
626
- ],
627
- [
628
- 23,
629
- 16
630
- ],
631
- [
632
- 23,
633
- 17
634
- ],
635
- [
636
- 23,
637
- 18
638
- ],
639
- [
640
- 23,
641
- 19
642
- ],
643
- [
644
- 24,
645
- 0
646
- ],
647
- [
648
- 24,
649
- 1
650
- ],
651
- [
652
- 24,
653
- 2
654
- ],
655
- [
656
- 24,
657
- 3
658
- ],
659
- [
660
- 24,
661
- 4
662
- ],
663
- [
664
- 24,
665
- 5
666
- ],
667
- [
668
- 24,
669
- 6
670
- ],
671
- [
672
- 24,
673
- 7
674
- ],
675
- [
676
- 24,
677
- 8
678
- ],
679
- [
680
- 24,
681
- 9
682
- ],
683
- [
684
- 24,
685
- 10
686
- ],
687
- [
688
- 24,
689
- 11
690
- ],
691
- [
692
- 24,
693
- 12
694
- ],
695
- [
696
- 24,
697
- 13
698
- ],
699
- [
700
- 24,
701
- 14
702
- ],
703
- [
704
- 24,
705
- 15
706
- ],
707
- [
708
- 24,
709
- 16
710
- ],
711
- [
712
- 24,
713
- 17
714
- ],
715
- [
716
- 24,
717
- 18
718
- ],
719
- [
720
- 24,
721
- 19
722
- ],
723
- [
724
- 25,
725
- 0
726
- ],
727
- [
728
- 25,
729
- 1
730
- ],
731
- [
732
- 25,
733
- 2
734
- ],
735
- [
736
- 25,
737
- 3
738
- ],
739
- [
740
- 25,
741
- 4
742
- ],
743
- [
744
- 25,
745
- 5
746
- ],
747
- [
748
- 25,
749
- 6
750
- ],
751
- [
752
- 25,
753
- 7
754
- ],
755
- [
756
- 25,
757
- 8
758
- ],
759
- [
760
- 25,
761
- 9
762
- ],
763
- [
764
- 25,
765
- 10
766
- ],
767
- [
768
- 25,
769
- 11
770
- ],
771
- [
772
- 25,
773
- 12
774
- ],
775
- [
776
- 25,
777
- 13
778
- ],
779
- [
780
- 25,
781
- 14
782
- ],
783
- [
784
- 25,
785
- 15
786
- ],
787
- [
788
- 25,
789
- 16
790
- ],
791
- [
792
- 25,
793
- 17
794
- ],
795
- [
796
- 25,
797
- 18
798
- ],
799
- [
800
- 25,
801
- 19
802
- ],
803
- [
804
- 26,
805
- 0
806
- ],
807
- [
808
- 26,
809
- 1
810
- ],
811
- [
812
- 26,
813
- 2
814
- ],
815
- [
816
- 26,
817
- 3
818
- ],
819
- [
820
- 26,
821
- 4
822
- ],
823
- [
824
- 26,
825
- 5
826
- ],
827
- [
828
- 26,
829
- 6
830
- ],
831
- [
832
- 26,
833
- 7
834
- ],
835
- [
836
- 26,
837
- 8
838
- ],
839
- [
840
- 26,
841
- 9
842
- ],
843
- [
844
- 26,
845
- 10
846
- ],
847
- [
848
- 26,
849
- 11
850
- ],
851
- [
852
- 26,
853
- 12
854
- ],
855
- [
856
- 26,
857
- 13
858
- ],
859
- [
860
- 26,
861
- 14
862
- ],
863
- [
864
- 26,
865
- 15
866
- ],
867
- [
868
- 26,
869
- 16
870
- ],
871
- [
872
- 26,
873
- 17
874
- ],
875
- [
876
- 26,
877
- 18
878
- ],
879
- [
880
- 26,
881
- 19
882
- ],
883
- [
884
- 27,
885
  0
886
  ],
887
  [
888
- 27,
889
- 1
890
- ],
891
- [
892
- 27,
893
- 2
894
- ],
895
- [
896
- 27,
897
- 3
898
- ],
899
- [
900
- 27,
901
- 4
902
- ],
903
- [
904
- 27,
905
- 5
906
- ],
907
- [
908
- 27,
909
- 6
910
- ],
911
- [
912
- 27,
913
- 7
914
- ],
915
- [
916
- 27,
917
- 8
918
- ],
919
- [
920
- 27,
921
- 9
922
- ],
923
- [
924
- 27,
925
- 10
926
- ],
927
- [
928
- 27,
929
- 11
930
- ],
931
- [
932
- 27,
933
- 12
934
- ],
935
- [
936
- 27,
937
- 13
938
- ],
939
- [
940
- 27,
941
- 14
942
- ],
943
- [
944
- 27,
945
- 15
946
- ],
947
- [
948
- 27,
949
- 16
950
- ],
951
- [
952
- 27,
953
  17
954
  ],
955
  [
956
- 27,
957
  18
958
  ],
959
  [
960
- 27,
961
- 19
962
- ],
963
- [
964
- 28,
965
- 0
966
- ],
967
- [
968
- 28,
969
- 1
970
- ],
971
- [
972
- 28,
973
- 2
974
- ],
975
- [
976
- 28,
977
- 3
978
- ],
979
- [
980
- 28,
981
- 4
982
- ],
983
- [
984
- 28,
985
- 5
986
- ],
987
- [
988
- 28,
989
- 6
990
- ],
991
- [
992
- 28,
993
- 7
994
- ],
995
- [
996
- 28,
997
- 8
998
- ],
999
- [
1000
- 28,
1001
- 9
1002
- ],
1003
- [
1004
- 28,
1005
- 10
1006
- ],
1007
- [
1008
- 28,
1009
- 11
1010
- ],
1011
- [
1012
- 28,
1013
  12
1014
  ],
1015
  [
1016
- 28,
1017
- 13
1018
- ],
1019
- [
1020
- 28,
1021
- 14
1022
- ],
1023
- [
1024
- 28,
1025
- 15
1026
- ],
1027
- [
1028
- 28,
1029
- 16
1030
- ],
1031
- [
1032
- 28,
1033
- 17
1034
- ],
1035
- [
1036
- 28,
1037
- 18
1038
- ],
1039
- [
1040
- 28,
1041
- 19
1042
- ],
1043
- [
1044
- 29,
1045
- 0
1046
- ],
1047
- [
1048
- 29,
1049
  1
1050
  ],
1051
  [
1052
- 29,
1053
- 2
1054
- ],
1055
- [
1056
- 29,
1057
- 3
1058
- ],
1059
- [
1060
- 29,
1061
- 4
1062
- ],
1063
- [
1064
- 29,
1065
- 5
1066
- ],
1067
- [
1068
- 29,
1069
- 6
1070
- ],
1071
- [
1072
- 29,
1073
- 7
1074
- ],
1075
- [
1076
- 29,
1077
- 8
1078
- ],
1079
- [
1080
- 29,
1081
- 9
1082
- ],
1083
- [
1084
- 29,
1085
- 10
1086
- ],
1087
- [
1088
- 29,
1089
- 11
1090
- ],
1091
- [
1092
- 29,
1093
- 12
1094
- ],
1095
- [
1096
- 29,
1097
- 13
1098
- ],
1099
- [
1100
- 29,
1101
  14
1102
  ],
1103
  [
1104
- 29,
1105
- 15
1106
- ],
1107
- [
1108
- 29,
1109
- 16
1110
- ],
1111
- [
1112
- 29,
1113
- 17
1114
- ],
1115
- [
1116
- 29,
1117
- 18
1118
- ],
1119
- [
1120
- 29,
1121
- 19
1122
- ],
1123
- [
1124
- 30,
1125
- 0
1126
- ],
1127
- [
1128
- 30,
1129
- 1
1130
- ],
1131
- [
1132
- 30,
1133
- 2
1134
- ],
1135
- [
1136
- 30,
1137
- 3
1138
- ],
1139
- [
1140
- 30,
1141
- 4
1142
- ],
1143
- [
1144
- 30,
1145
- 5
1146
- ],
1147
- [
1148
- 30,
1149
- 6
1150
- ],
1151
- [
1152
- 30,
1153
- 7
1154
- ],
1155
- [
1156
- 30,
1157
- 8
1158
- ],
1159
- [
1160
- 30,
1161
- 9
1162
- ],
1163
- [
1164
- 30,
1165
- 10
1166
- ],
1167
- [
1168
- 30,
1169
  11
1170
  ],
1171
  [
1172
- 30,
1173
- 12
1174
- ],
1175
- [
1176
- 30,
1177
- 13
1178
- ],
1179
- [
1180
- 30,
1181
- 14
1182
- ],
1183
- [
1184
- 30,
1185
- 15
1186
- ],
1187
- [
1188
- 30,
1189
- 16
1190
- ],
1191
- [
1192
- 30,
1193
- 17
1194
- ],
1195
- [
1196
- 30,
1197
- 18
1198
- ],
1199
- [
1200
- 30,
1201
- 19
1202
- ],
1203
- [
1204
- 31,
1205
- 0
1206
- ],
1207
- [
1208
- 31,
1209
- 1
1210
- ],
1211
- [
1212
- 31,
1213
- 2
1214
- ],
1215
- [
1216
- 31,
1217
- 3
1218
- ],
1219
- [
1220
- 31,
1221
  4
1222
  ],
1223
  [
1224
- 31,
1225
- 5
1226
  ],
1227
  [
1228
- 31,
1229
  6
1230
- ],
1231
- [
1232
- 31,
1233
- 7
1234
- ],
1235
- [
1236
- 31,
1237
- 8
1238
- ],
1239
- [
1240
- 31,
1241
- 9
1242
- ],
1243
- [
1244
- 31,
1245
- 10
1246
- ],
1247
- [
1248
- 31,
1249
- 11
1250
- ],
1251
- [
1252
- 31,
1253
- 12
1254
- ],
1255
- [
1256
- 31,
1257
- 13
1258
- ],
1259
- [
1260
- 31,
1261
- 14
1262
- ],
1263
- [
1264
- 31,
1265
- 15
1266
- ],
1267
- [
1268
- 31,
1269
- 16
1270
- ],
1271
- [
1272
- 31,
1273
- 17
1274
- ],
1275
- [
1276
- 31,
1277
- 18
1278
- ],
1279
- [
1280
- 31,
1281
- 19
1282
  ]
1283
  ],
1284
  "lang_ids": [
@@ -1380,9 +140,99 @@
1380
  50354,
1381
  50355,
1382
  50356,
1383
- 50357
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1384
  ],
1385
- "suppress_ids": null,
1386
  "suppress_ids_begin": [
1387
  220,
1388
  50257
 
1
  {
2
  "alignment_heads": [
3
  [
4
+ 7,
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
5
  0
6
  ],
7
  [
8
+ 10,
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
9
  17
10
  ],
11
  [
12
+ 12,
13
  18
14
  ],
15
  [
16
+ 13,
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
17
  12
18
  ],
19
  [
20
+ 16,
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
21
  1
22
  ],
23
  [
24
+ 17,
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
25
  14
26
  ],
27
  [
28
+ 19,
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
29
  11
30
  ],
31
  [
32
+ 21,
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
33
  4
34
  ],
35
  [
36
+ 24,
37
+ 1
38
  ],
39
  [
40
+ 25,
41
  6
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
42
  ]
43
  ],
44
  "lang_ids": [
 
140
  50354,
141
  50355,
142
  50356,
143
+ 50357,
144
+ 50358
145
+ ],
146
+ "suppress_ids": [
147
+ 1,
148
+ 2,
149
+ 7,
150
+ 8,
151
+ 9,
152
+ 10,
153
+ 14,
154
+ 25,
155
+ 26,
156
+ 27,
157
+ 28,
158
+ 29,
159
+ 31,
160
+ 58,
161
+ 59,
162
+ 60,
163
+ 61,
164
+ 62,
165
+ 63,
166
+ 90,
167
+ 91,
168
+ 92,
169
+ 93,
170
+ 359,
171
+ 503,
172
+ 522,
173
+ 542,
174
+ 873,
175
+ 893,
176
+ 902,
177
+ 918,
178
+ 922,
179
+ 931,
180
+ 1350,
181
+ 1853,
182
+ 1982,
183
+ 2460,
184
+ 2627,
185
+ 3246,
186
+ 3253,
187
+ 3268,
188
+ 3536,
189
+ 3846,
190
+ 3961,
191
+ 4183,
192
+ 4667,
193
+ 6585,
194
+ 6647,
195
+ 7273,
196
+ 9061,
197
+ 9383,
198
+ 10428,
199
+ 10929,
200
+ 11938,
201
+ 12033,
202
+ 12331,
203
+ 12562,
204
+ 13793,
205
+ 14157,
206
+ 14635,
207
+ 15265,
208
+ 15618,
209
+ 16553,
210
+ 16604,
211
+ 18362,
212
+ 18956,
213
+ 20075,
214
+ 21675,
215
+ 22520,
216
+ 26130,
217
+ 26161,
218
+ 26435,
219
+ 28279,
220
+ 29464,
221
+ 31650,
222
+ 32302,
223
+ 32470,
224
+ 36865,
225
+ 42863,
226
+ 47425,
227
+ 49870,
228
+ 50254,
229
+ 50258,
230
+ 50359,
231
+ 50360,
232
+ 50361,
233
+ 50362,
234
+ 50363
235
  ],
 
236
  "suppress_ids_begin": [
237
  220,
238
  50257
model.bin CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:752549a4fa72ca34149656c16d592173c291359ab19dbbe4370e40649fd73960
3
- size 3086913037
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:80ec98bb2ba683801fafe991df137c11cabe4455973f7b6ea2920527f22af43c
3
+ size 3087381556
preprocessor_config.json ADDED
@@ -0,0 +1,14 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "chunk_length": 30,
3
+ "feature_extractor_type": "WhisperFeatureExtractor",
4
+ "feature_size": 128,
5
+ "hop_length": 160,
6
+ "n_fft": 400,
7
+ "n_samples": 480000,
8
+ "nb_max_frames": 3000,
9
+ "padding_side": "right",
10
+ "padding_value": 0.0,
11
+ "processor_class": "WhisperProcessor",
12
+ "return_attention_mask": false,
13
+ "sampling_rate": 16000
14
+ }
tokenizer.json CHANGED
The diff for this file is too large to render. See raw diff
 
vocabulary.json CHANGED
@@ -50357,11 +50357,12 @@
50357
  "<|ba|>",
50358
  "<|jw|>",
50359
  "<|su|>",
 
50360
  "<|translate|>",
50361
  "<|transcribe|>",
50362
  "<|startoflm|>",
50363
  "<|startofprev|>",
50364
- "<|nocaptions|>",
50365
  "<|notimestamps|>",
50366
  "<|0.00|>",
50367
  "<|0.02|>",
@@ -51863,5 +51864,43 @@
51863
  "<|29.94|>",
51864
  "<|29.96|>",
51865
  "<|29.98|>",
51866
- "<|30.00|>"
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
51867
  ]
 
50357
  "<|ba|>",
50358
  "<|jw|>",
50359
  "<|su|>",
50360
+ "<|yue|>",
50361
  "<|translate|>",
50362
  "<|transcribe|>",
50363
  "<|startoflm|>",
50364
  "<|startofprev|>",
50365
+ "<|nospeech|>",
50366
  "<|notimestamps|>",
50367
  "<|0.00|>",
50368
  "<|0.02|>",
 
51864
  "<|29.94|>",
51865
  "<|29.96|>",
51866
  "<|29.98|>",
51867
+ "<|30.00|>",
51868
+ "<|0.00|>",
51869
+ "<|0.02|>",
51870
+ "<|0.04|>",
51871
+ "<|0.06|>",
51872
+ "<|0.08|>",
51873
+ "<|0.10|>",
51874
+ "<|0.12|>",
51875
+ "<|0.14|>",
51876
+ "<|0.16|>",
51877
+ "<|0.18|>",
51878
+ "<|0.20|>",
51879
+ "<|0.22|>",
51880
+ "<|0.24|>",
51881
+ "<|0.26|>",
51882
+ "<|0.28|>",
51883
+ "<|0.30|>",
51884
+ "<|0.32|>",
51885
+ "<|0.34|>",
51886
+ "<|0.36|>",
51887
+ "<|0.38|>",
51888
+ "<|0.40|>",
51889
+ "<|0.42|>",
51890
+ "<|0.44|>",
51891
+ "<|0.46|>",
51892
+ "<|0.48|>",
51893
+ "<|0.50|>",
51894
+ "<|0.52|>",
51895
+ "<|0.54|>",
51896
+ "<|0.56|>",
51897
+ "<|0.58|>",
51898
+ "<|0.60|>",
51899
+ "<|0.62|>",
51900
+ "<|0.64|>",
51901
+ "<|0.66|>",
51902
+ "<|0.68|>",
51903
+ "<|0.70|>",
51904
+ "<|0.72|>",
51905
+ "<|0.74|>"
51906
  ]