Upload tokenizer

Browse files

Files changed (3) hide show

added_tokens.json +202 -0
tokenizer.json +0 -0
tokenizer_config.json +2 -1

added_tokens.json ADDED Viewed

	@@ -0,0 +1,202 @@

+{
+  "<other_0>": 33201,
+  "<other_100>": 33301,
+  "<other_101>": 33302,
+  "<other_102>": 33303,
+  "<other_103>": 33304,
+  "<other_104>": 33305,
+  "<other_105>": 33306,
+  "<other_106>": 33307,
+  "<other_107>": 33308,
+  "<other_108>": 33309,
+  "<other_109>": 33310,
+  "<other_10>": 33211,
+  "<other_110>": 33311,
+  "<other_111>": 33312,
+  "<other_112>": 33313,
+  "<other_113>": 33314,
+  "<other_114>": 33315,
+  "<other_115>": 33316,
+  "<other_116>": 33317,
+  "<other_117>": 33318,
+  "<other_118>": 33319,
+  "<other_119>": 33320,
+  "<other_11>": 33212,
+  "<other_120>": 33321,
+  "<other_121>": 33322,
+  "<other_122>": 33323,
+  "<other_123>": 33324,
+  "<other_124>": 33325,
+  "<other_125>": 33326,
+  "<other_126>": 33327,
+  "<other_127>": 33328,
+  "<other_128>": 33329,
+  "<other_129>": 33330,
+  "<other_12>": 33213,
+  "<other_130>": 33331,
+  "<other_131>": 33332,
+  "<other_132>": 33333,
+  "<other_133>": 33334,
+  "<other_134>": 33335,
+  "<other_135>": 33336,
+  "<other_136>": 33337,
+  "<other_137>": 33338,
+  "<other_138>": 33339,
+  "<other_139>": 33340,
+  "<other_13>": 33214,
+  "<other_140>": 33341,
+  "<other_141>": 33342,
+  "<other_142>": 33343,
+  "<other_143>": 33344,
+  "<other_144>": 33345,
+  "<other_145>": 33346,
+  "<other_146>": 33347,
+  "<other_147>": 33348,
+  "<other_148>": 33349,
+  "<other_149>": 33350,
+  "<other_14>": 33215,
+  "<other_150>": 33351,
+  "<other_151>": 33352,
+  "<other_152>": 33353,
+  "<other_153>": 33354,
+  "<other_154>": 33355,
+  "<other_155>": 33356,
+  "<other_156>": 33357,
+  "<other_157>": 33358,
+  "<other_158>": 33359,
+  "<other_159>": 33360,
+  "<other_15>": 33216,
+  "<other_160>": 33361,
+  "<other_161>": 33362,
+  "<other_162>": 33363,
+  "<other_163>": 33364,
+  "<other_164>": 33365,
+  "<other_165>": 33366,
+  "<other_166>": 33367,
+  "<other_167>": 33368,
+  "<other_168>": 33369,
+  "<other_169>": 33370,
+  "<other_16>": 33217,
+  "<other_170>": 33371,
+  "<other_171>": 33372,
+  "<other_172>": 33373,
+  "<other_173>": 33374,
+  "<other_174>": 33375,
+  "<other_175>": 33376,
+  "<other_176>": 33377,
+  "<other_177>": 33378,
+  "<other_178>": 33379,
+  "<other_179>": 33380,
+  "<other_17>": 33218,
+  "<other_180>": 33381,
+  "<other_181>": 33382,
+  "<other_182>": 33383,
+  "<other_183>": 33384,
+  "<other_184>": 33385,
+  "<other_185>": 33386,
+  "<other_186>": 33387,
+  "<other_187>": 33388,
+  "<other_188>": 33389,
+  "<other_189>": 33390,
+  "<other_18>": 33219,
+  "<other_190>": 33391,
+  "<other_191>": 33392,
+  "<other_192>": 33393,
+  "<other_193>": 33394,
+  "<other_194>": 33395,
+  "<other_195>": 33396,
+  "<other_196>": 33397,
+  "<other_197>": 33398,
+  "<other_198>": 33399,
+  "<other_199>": 33400,
+  "<other_19>": 33220,
+  "<other_1>": 33202,
+  "<other_20>": 33221,
+  "<other_21>": 33222,
+  "<other_22>": 33223,
+  "<other_23>": 33224,
+  "<other_24>": 33225,
+  "<other_25>": 33226,
+  "<other_26>": 33227,
+  "<other_27>": 33228,
+  "<other_28>": 33229,
+  "<other_29>": 33230,
+  "<other_2>": 33203,
+  "<other_30>": 33231,
+  "<other_31>": 33232,
+  "<other_32>": 33233,
+  "<other_33>": 33234,
+  "<other_34>": 33235,
+  "<other_35>": 33236,
+  "<other_36>": 33237,
+  "<other_37>": 33238,
+  "<other_38>": 33239,
+  "<other_39>": 33240,
+  "<other_3>": 33204,
+  "<other_40>": 33241,
+  "<other_41>": 33242,
+  "<other_42>": 33243,
+  "<other_43>": 33244,
+  "<other_44>": 33245,
+  "<other_45>": 33246,
+  "<other_46>": 33247,
+  "<other_47>": 33248,
+  "<other_48>": 33249,
+  "<other_49>": 33250,
+  "<other_4>": 33205,
+  "<other_50>": 33251,
+  "<other_51>": 33252,
+  "<other_52>": 33253,
+  "<other_53>": 33254,
+  "<other_54>": 33255,
+  "<other_55>": 33256,
+  "<other_56>": 33257,
+  "<other_57>": 33258,
+  "<other_58>": 33259,
+  "<other_59>": 33260,
+  "<other_5>": 33206,
+  "<other_60>": 33261,
+  "<other_61>": 33262,
+  "<other_62>": 33263,
+  "<other_63>": 33264,
+  "<other_64>": 33265,
+  "<other_65>": 33266,
+  "<other_66>": 33267,
+  "<other_67>": 33268,
+  "<other_68>": 33269,
+  "<other_69>": 33270,
+  "<other_6>": 33207,
+  "<other_70>": 33271,
+  "<other_71>": 33272,
+  "<other_72>": 33273,
+  "<other_73>": 33274,
+  "<other_74>": 33275,
+  "<other_75>": 33276,
+  "<other_76>": 33277,
+  "<other_77>": 33278,
+  "<other_78>": 33279,
+  "<other_79>": 33280,
+  "<other_7>": 33208,
+  "<other_80>": 33281,
+  "<other_81>": 33282,
+  "<other_82>": 33283,
+  "<other_83>": 33284,
+  "<other_84>": 33285,
+  "<other_85>": 33286,
+  "<other_86>": 33287,
+  "<other_87>": 33288,
+  "<other_88>": 33289,
+  "<other_89>": 33290,
+  "<other_8>": 33209,
+  "<other_90>": 33291,
+  "<other_91>": 33292,
+  "<other_92>": 33293,
+  "<other_93>": 33294,
+  "<other_94>": 33295,
+  "<other_95>": 33296,
+  "<other_96>": 33297,
+  "<other_97>": 33298,
+  "<other_98>": 33299,
+  "<other_99>": 33300,
+  "<other_9>": 33210
+}

tokenizer.json CHANGED Viewed

The diff for this file is too large to render. See raw diff

tokenizer_config.json CHANGED Viewed

@@ -1205,8 +1205,9 @@
   "clean_up_tokenization_spaces": true,
   "eos_token": "</s>",
   "extra_ids": 100,
   "loc_extra_ids": 501,
-  "model_max_length": 1000000000000000019884624838656,
   "only_label_first_subword": true,
   "other_extra_ids": 200,
   "pad_token": "<pad>",

   "clean_up_tokenization_spaces": true,
   "eos_token": "</s>",
   "extra_ids": 100,
+  "from_slow": true,
   "loc_extra_ids": 501,
+  "model_max_length": 512,
   "only_label_first_subword": true,
   "other_extra_ids": 200,
   "pad_token": "<pad>",