udop-large / added_tokens.json
nielsr's picture
nielsr HF staff
Upload tokenizer
444ed7f
raw
history blame
4.69 kB
{
"<other_0>": 33201,
"<other_100>": 33301,
"<other_101>": 33302,
"<other_102>": 33303,
"<other_103>": 33304,
"<other_104>": 33305,
"<other_105>": 33306,
"<other_106>": 33307,
"<other_107>": 33308,
"<other_108>": 33309,
"<other_109>": 33310,
"<other_10>": 33211,
"<other_110>": 33311,
"<other_111>": 33312,
"<other_112>": 33313,
"<other_113>": 33314,
"<other_114>": 33315,
"<other_115>": 33316,
"<other_116>": 33317,
"<other_117>": 33318,
"<other_118>": 33319,
"<other_119>": 33320,
"<other_11>": 33212,
"<other_120>": 33321,
"<other_121>": 33322,
"<other_122>": 33323,
"<other_123>": 33324,
"<other_124>": 33325,
"<other_125>": 33326,
"<other_126>": 33327,
"<other_127>": 33328,
"<other_128>": 33329,
"<other_129>": 33330,
"<other_12>": 33213,
"<other_130>": 33331,
"<other_131>": 33332,
"<other_132>": 33333,
"<other_133>": 33334,
"<other_134>": 33335,
"<other_135>": 33336,
"<other_136>": 33337,
"<other_137>": 33338,
"<other_138>": 33339,
"<other_139>": 33340,
"<other_13>": 33214,
"<other_140>": 33341,
"<other_141>": 33342,
"<other_142>": 33343,
"<other_143>": 33344,
"<other_144>": 33345,
"<other_145>": 33346,
"<other_146>": 33347,
"<other_147>": 33348,
"<other_148>": 33349,
"<other_149>": 33350,
"<other_14>": 33215,
"<other_150>": 33351,
"<other_151>": 33352,
"<other_152>": 33353,
"<other_153>": 33354,
"<other_154>": 33355,
"<other_155>": 33356,
"<other_156>": 33357,
"<other_157>": 33358,
"<other_158>": 33359,
"<other_159>": 33360,
"<other_15>": 33216,
"<other_160>": 33361,
"<other_161>": 33362,
"<other_162>": 33363,
"<other_163>": 33364,
"<other_164>": 33365,
"<other_165>": 33366,
"<other_166>": 33367,
"<other_167>": 33368,
"<other_168>": 33369,
"<other_169>": 33370,
"<other_16>": 33217,
"<other_170>": 33371,
"<other_171>": 33372,
"<other_172>": 33373,
"<other_173>": 33374,
"<other_174>": 33375,
"<other_175>": 33376,
"<other_176>": 33377,
"<other_177>": 33378,
"<other_178>": 33379,
"<other_179>": 33380,
"<other_17>": 33218,
"<other_180>": 33381,
"<other_181>": 33382,
"<other_182>": 33383,
"<other_183>": 33384,
"<other_184>": 33385,
"<other_185>": 33386,
"<other_186>": 33387,
"<other_187>": 33388,
"<other_188>": 33389,
"<other_189>": 33390,
"<other_18>": 33219,
"<other_190>": 33391,
"<other_191>": 33392,
"<other_192>": 33393,
"<other_193>": 33394,
"<other_194>": 33395,
"<other_195>": 33396,
"<other_196>": 33397,
"<other_197>": 33398,
"<other_198>": 33399,
"<other_199>": 33400,
"<other_19>": 33220,
"<other_1>": 33202,
"<other_20>": 33221,
"<other_21>": 33222,
"<other_22>": 33223,
"<other_23>": 33224,
"<other_24>": 33225,
"<other_25>": 33226,
"<other_26>": 33227,
"<other_27>": 33228,
"<other_28>": 33229,
"<other_29>": 33230,
"<other_2>": 33203,
"<other_30>": 33231,
"<other_31>": 33232,
"<other_32>": 33233,
"<other_33>": 33234,
"<other_34>": 33235,
"<other_35>": 33236,
"<other_36>": 33237,
"<other_37>": 33238,
"<other_38>": 33239,
"<other_39>": 33240,
"<other_3>": 33204,
"<other_40>": 33241,
"<other_41>": 33242,
"<other_42>": 33243,
"<other_43>": 33244,
"<other_44>": 33245,
"<other_45>": 33246,
"<other_46>": 33247,
"<other_47>": 33248,
"<other_48>": 33249,
"<other_49>": 33250,
"<other_4>": 33205,
"<other_50>": 33251,
"<other_51>": 33252,
"<other_52>": 33253,
"<other_53>": 33254,
"<other_54>": 33255,
"<other_55>": 33256,
"<other_56>": 33257,
"<other_57>": 33258,
"<other_58>": 33259,
"<other_59>": 33260,
"<other_5>": 33206,
"<other_60>": 33261,
"<other_61>": 33262,
"<other_62>": 33263,
"<other_63>": 33264,
"<other_64>": 33265,
"<other_65>": 33266,
"<other_66>": 33267,
"<other_67>": 33268,
"<other_68>": 33269,
"<other_69>": 33270,
"<other_6>": 33207,
"<other_70>": 33271,
"<other_71>": 33272,
"<other_72>": 33273,
"<other_73>": 33274,
"<other_74>": 33275,
"<other_75>": 33276,
"<other_76>": 33277,
"<other_77>": 33278,
"<other_78>": 33279,
"<other_79>": 33280,
"<other_7>": 33208,
"<other_80>": 33281,
"<other_81>": 33282,
"<other_82>": 33283,
"<other_83>": 33284,
"<other_84>": 33285,
"<other_85>": 33286,
"<other_86>": 33287,
"<other_87>": 33288,
"<other_88>": 33289,
"<other_89>": 33290,
"<other_8>": 33209,
"<other_90>": 33291,
"<other_91>": 33292,
"<other_92>": 33293,
"<other_93>": 33294,
"<other_94>": 33295,
"<other_95>": 33296,
"<other_96>": 33297,
"<other_97>": 33298,
"<other_98>": 33299,
"<other_99>": 33300,
"<other_9>": 33210
}