Upload tokenizer

special_tokens_map.json

@@ -7,14 +7,7 @@
     "single_word": false
   },
   "eos_token": {
-    "content": "<|im_end|>",
-    "lstrip": false,
-    "normalized": false,
-    "rstrip": false,
-    "single_word": false
-  },
-  "pad_token": {
-    "content": "<unk>",
+    "content": "</s>",
     "lstrip": false,
     "normalized": true,
     "rstrip": false,

tokenizer.json

@@ -29,42 +29,6 @@
       "rstrip": false,
       "normalized": true,
       "special": true
-    },
-    {
-      "id": 32000,
-      "content": "<|im_end|>",
-      "single_word": false,
-      "lstrip": false,
-      "rstrip": false,
-      "normalized": false,
-      "special": true
-    },
-    {
-      "id": 32001,
-      "content": "<|im_system|>",
-      "single_word": false,
-      "lstrip": false,
-      "rstrip": false,
-      "normalized": false,
-      "special": false
-    },
-    {
-      "id": 32002,
-      "content": "<|im_user|>",
-      "single_word": false,
-      "lstrip": false,
-      "rstrip": false,
-      "normalized": false,
-      "special": false
-    },
-    {
-      "id": 32003,
-      "content": "<|im_bot|>",
-      "single_word": false,
-      "lstrip": false,
-      "rstrip": false,
-      "normalized": false,
-      "special": false
     }
   ],
   "normalizer": {
@@ -93302,126 +93266,126 @@
       "▁livre s",
       "lu b",
       "l ub",
-      "▁ ▁",
       "▁▁ ▁▁",
-      "▁▁▁ ▁",
-      "▁ ▁▁▁",
+      "▁▁ ▁▁▁▁",
+      "▁▁ ▁▁▁▁▁▁▁▁",
+      "▁▁ ▁▁▁▁▁",
       "▁▁ ▁▁▁▁▁▁",
-      "▁▁▁▁ ▁▁▁▁",
-      "▁▁▁▁▁ ▁▁▁",
-      "▁▁▁▁▁▁ ▁▁",
-      "▁▁▁ ▁▁▁▁▁",
-      "▁▁▁▁▁▁▁ ▁",
-      "▁ ▁▁▁▁▁▁▁",
-      "▁▁ ▁▁▁",
-      "▁▁▁▁ ▁",
-      "▁▁▁ ▁▁",
-      "▁ ▁▁▁▁",
+      "▁▁ ▁▁▁▁▁▁▁▁▁▁▁▁",
+      "▁▁ ▁▁▁▁▁▁▁▁▁▁▁▁▁",
+      "▁▁ ▁▁▁▁▁▁▁▁▁▁",
       "▁▁ ▁▁▁▁▁▁▁▁▁▁▁▁▁▁",
+      "▁▁ ▁▁▁",
+      "▁▁ ▁▁▁▁▁▁▁▁▁",
+      "▁▁ ▁▁▁▁▁▁▁",
+      "▁▁ ▁▁▁▁▁▁▁▁▁▁▁",
+      "▁▁ ▁",
+      "▁▁▁▁ ▁▁",
+      "▁▁▁▁ ▁▁▁▁",
+      "▁▁▁▁ ▁▁▁▁▁▁▁▁",
+      "▁▁▁▁ ▁▁▁▁▁",
+      "▁▁▁▁ ▁▁▁▁▁▁",
       "▁▁▁▁ ▁▁▁▁▁▁▁▁▁▁▁▁",
+      "▁▁▁▁ ▁▁▁▁▁▁▁▁▁▁",
+      "▁▁▁▁ ▁▁▁",
+      "▁▁▁▁ ▁▁▁▁▁▁▁▁▁",
+      "▁▁▁▁ ▁▁▁▁▁▁▁",
+      "▁▁▁▁ ▁▁▁▁▁▁▁▁▁▁▁",
+      "▁▁▁▁ ▁",
+      "▁▁▁▁▁▁▁▁ ▁▁",
+      "▁▁▁▁▁▁▁▁ ▁▁▁▁",
       "▁▁▁▁▁▁▁▁ ▁▁▁▁▁▁▁▁",
+      "▁▁▁▁▁▁▁▁ ▁▁▁▁▁",
+      "▁▁▁▁▁▁▁▁ ▁▁▁▁▁▁",
+      "▁▁▁▁▁▁▁▁ ▁▁▁",
+      "▁▁▁▁▁▁▁▁ ▁▁▁▁▁▁▁",
+      "▁▁▁▁▁▁▁▁ ▁",
+      "▁▁▁▁▁ ▁▁",
+      "▁▁▁▁▁ ▁▁▁▁",
+      "▁▁▁▁▁ ▁▁▁▁▁▁▁▁",
+      "▁▁▁▁▁ ▁▁▁▁▁",
+      "▁▁▁▁▁ ▁▁▁▁▁▁",
+      "▁▁▁▁▁ ▁▁▁▁▁▁▁▁▁▁",
+      "▁▁▁▁▁ ▁▁▁",
+      "▁▁▁▁▁ ▁▁▁▁▁▁▁▁▁",
+      "▁▁▁▁▁ ▁▁▁▁▁▁▁",
       "▁▁▁▁▁ ▁▁▁▁▁▁▁▁▁▁▁",
+      "▁▁▁▁▁ ▁",
+      "▁▁▁▁▁▁ ▁▁",
+      "▁▁▁▁▁▁ ▁▁▁▁",
+      "▁▁▁▁▁▁ ▁▁▁▁▁▁▁▁",
+      "▁▁▁▁▁▁ ▁▁▁▁▁",
+      "▁▁▁▁▁▁ ▁▁▁▁▁▁",
       "▁▁▁▁▁▁ ▁▁▁▁▁▁▁▁▁▁",
+      "▁▁▁▁▁▁ ▁▁▁",
+      "▁▁▁▁▁▁ ▁▁▁▁▁▁▁▁▁",
+      "▁▁▁▁▁▁ ▁▁▁▁▁▁▁",
+      "▁▁▁▁▁▁ ▁",
+      "▁▁▁▁▁▁▁▁▁▁▁▁ ▁▁",
       "▁▁▁▁▁▁▁▁▁▁▁▁ ▁▁▁▁",
+      "▁▁▁▁▁▁▁▁▁▁▁▁ ▁▁▁",
+      "▁▁▁▁▁▁▁▁▁▁▁▁ ▁",
+      "▁▁▁▁▁▁▁▁▁▁▁▁▁ ▁▁",
       "▁▁▁▁▁▁▁▁▁▁▁▁▁ ▁▁▁",
+      "▁▁▁▁▁▁▁▁▁▁▁▁▁ ▁",
+      "▁▁▁▁▁▁▁▁▁▁ ▁▁",
+      "▁▁▁▁▁▁▁▁▁▁ ▁▁▁▁",
+      "▁▁▁▁▁▁▁▁▁▁ ▁▁▁▁▁",
       "▁▁▁▁▁▁▁▁▁▁ ▁▁▁▁▁▁",
+      "▁▁▁▁▁▁▁▁▁▁ ▁▁▁",
+      "▁▁▁▁▁▁▁▁▁▁ ▁",
       "▁▁▁▁▁▁▁▁▁▁▁▁▁▁ ▁▁",
+      "▁▁▁▁▁▁▁▁▁▁▁▁▁▁ ▁",
+      "▁▁▁ ▁▁",
+      "▁▁▁ ▁▁▁▁",
+      "▁▁▁ ▁▁▁▁▁▁▁▁",
+      "▁▁▁ ▁▁▁▁▁",
+      "▁▁▁ ▁▁▁▁▁▁",
+      "▁▁▁ ▁▁▁▁▁▁▁▁▁▁▁▁",
       "▁▁▁ ▁▁▁▁▁▁▁▁▁▁▁▁▁",
-      "▁▁▁▁▁▁▁▁▁ ▁▁▁▁▁▁▁",
-      "▁▁▁▁▁▁▁ ▁▁▁▁▁▁▁▁▁",
-      "▁▁▁▁▁▁▁▁▁▁▁ ▁▁▁���▁",
-      "▁▁▁▁▁▁▁▁▁▁▁▁▁▁▁ ▁",
-      "▁ ▁▁▁▁▁▁▁▁▁▁▁▁▁▁▁",
-      "▁▁ ▁▁▁▁",
-      "▁▁▁▁ ▁▁",
-      "▁▁▁▁▁ ▁",
+      "▁▁▁ ▁▁▁▁▁▁▁▁▁▁",
       "▁▁▁ ▁▁▁",
-      "▁ ▁▁▁▁▁",
-      "▁▁ ▁▁▁▁▁▁▁▁▁▁",
-      "▁▁▁▁ ▁▁▁▁▁▁▁▁",
-      "▁▁▁▁▁▁▁▁ ▁▁▁▁",
-      "▁▁▁▁▁ ▁▁▁▁▁▁▁",
-      "▁▁▁▁▁▁ ▁▁▁▁▁▁",
-      "▁▁▁▁▁▁▁▁▁▁ ▁▁",
       "▁▁▁ ▁▁▁▁▁▁▁▁▁",
+      "▁▁▁ ▁▁▁▁▁▁▁",
+      "▁▁▁ ▁▁▁▁▁▁▁▁▁▁▁",
+      "▁▁▁ ▁",
+      "▁▁▁▁▁▁▁▁▁ ▁▁",
+      "▁▁▁▁▁▁▁▁▁ ▁▁▁▁",
+      "▁▁▁▁▁▁▁▁▁ ▁▁▁▁▁",
+      "▁▁▁▁▁▁▁▁▁ ▁▁▁▁▁▁",
       "▁▁▁▁▁▁▁▁▁ ▁▁▁",
+      "▁▁▁▁▁▁▁▁▁ ▁▁▁▁▁▁▁",
+      "▁▁▁▁▁▁▁▁▁ ▁",
+      "▁▁▁▁▁▁▁ ▁▁",
+      "▁▁▁▁▁▁▁ ▁▁▁▁",
+      "▁▁▁▁▁▁▁ ▁▁▁▁▁▁▁▁",
       "▁▁▁▁▁▁▁ ▁▁▁▁▁",
-      "▁▁▁▁▁▁▁▁▁▁▁ ▁",
-      "▁ ▁▁▁▁▁▁▁▁▁▁▁",
-      "▁▁ ▁▁▁▁▁▁▁▁▁▁▁",
-      "▁▁▁▁ ▁▁▁▁▁▁▁▁▁",
-      "▁▁▁▁▁▁▁▁ ▁▁▁▁▁",
-      "▁▁▁▁▁ ▁▁▁▁▁▁▁▁",
-      "▁▁▁▁▁▁ ▁▁▁▁▁▁▁",
-      "▁▁▁▁▁▁▁▁▁▁▁▁ ▁",
-      "▁▁▁▁▁▁▁▁▁▁ ▁▁▁",
-      "▁▁▁ ▁▁▁▁▁▁▁▁▁▁",
-      "▁▁▁▁▁▁▁▁▁ ▁▁▁▁",
       "▁▁▁▁▁▁▁ ▁▁▁▁▁▁",
-      "▁▁▁▁▁▁▁▁▁▁▁ ▁▁",
-      "▁ ▁▁▁▁▁▁▁▁▁▁▁▁",
-      "▁▁ ▁▁▁▁▁▁▁▁",
-      "▁▁▁▁ ▁▁▁▁▁▁",
-      "▁▁▁▁▁▁▁▁ ▁▁",
-      "▁▁▁▁▁ ▁▁▁▁▁",
-      "▁▁▁▁▁▁ ▁▁▁▁",
-      "▁▁▁ ▁▁▁▁▁▁▁",
-      "▁▁▁▁▁▁▁▁▁ ▁",
       "▁▁▁▁▁▁▁ ▁▁▁",
-      "▁ ▁▁▁▁▁▁▁▁▁",
-      "▁▁ ▁▁▁▁▁▁▁▁▁▁▁▁",
-      "▁▁▁▁ ▁▁▁▁▁▁▁▁▁▁",
-      "▁▁▁▁▁▁▁▁ ▁▁▁▁▁▁",
-      "▁▁▁▁▁ ▁▁▁▁▁▁▁▁▁",
-      "▁▁▁▁▁▁ ▁▁▁▁▁▁▁▁",
-      "▁▁▁▁▁▁▁▁▁▁▁▁ ▁▁",
-      "▁▁▁▁▁▁▁▁▁▁▁▁▁ ▁",
-      "▁▁▁▁▁▁▁▁▁▁ ▁▁▁▁",
-      "▁▁▁ ▁▁▁▁▁▁▁▁▁▁▁",
-      "▁▁▁▁▁▁▁▁▁ ▁▁▁▁▁",
+      "▁▁▁▁▁▁▁ ▁▁▁▁▁▁▁▁▁",
       "▁▁▁▁▁▁▁ ▁▁▁▁▁▁▁",
+      "▁▁▁▁▁▁▁ ▁",
+      "▁▁▁▁▁▁▁▁▁▁▁ ▁▁",
+      "▁▁▁▁▁▁▁▁▁▁▁ ▁▁▁▁",
+      "▁▁▁▁▁▁▁▁▁▁▁ ▁▁▁▁▁",
       "▁▁▁▁▁▁▁▁▁▁▁ ▁▁▁",
-      "▁ ▁▁▁▁▁▁▁▁▁▁▁▁▁",
-      "▁▁ ▁",
+      "▁▁▁▁▁▁▁▁▁▁▁ ▁",
+      "▁▁▁▁▁▁▁▁▁▁▁▁▁▁▁ ▁",
       "▁ ▁▁",
-      "▁▁ ▁▁▁▁▁▁▁",
-      "▁▁▁▁ ▁▁▁▁▁",
-      "▁▁▁▁▁▁▁▁ ▁",
-      "▁▁▁▁▁ ▁▁▁▁",
-      "▁▁▁▁▁▁ ▁▁▁",
-      "▁▁▁ ▁▁▁▁▁▁",
-      "▁▁▁▁▁▁▁ ▁▁",
+      "▁ ▁▁▁▁",
       "▁ ▁▁▁▁▁▁▁▁",
-      "▁▁ ▁▁▁▁▁",
-      "▁▁▁▁ ▁▁▁",
-      "▁▁▁▁▁ ▁▁",
-      "▁▁▁▁▁▁ ▁",
-      "▁▁▁ ▁▁▁▁",
+      "▁ ▁▁▁▁▁",
       "▁ ▁▁▁▁▁▁",
-      "▁▁ ▁▁▁▁▁▁▁▁▁",
-      "▁▁▁▁ ▁▁▁▁▁▁▁",
-      "▁▁▁▁▁▁▁▁ ▁▁▁",
-      "▁▁▁▁▁ ▁▁▁▁▁▁",
-      "▁▁▁▁▁▁ ▁▁▁▁▁",
-      "▁▁▁▁▁▁▁▁▁▁ ▁",
-      "▁▁▁ ▁▁▁▁▁▁▁▁",
-      "▁▁▁▁▁▁▁▁▁ ▁▁",
-      "▁▁▁▁▁▁▁ ▁▁▁▁",
+      "▁ ▁▁▁▁▁▁▁▁▁▁▁▁",
+      "▁ ▁▁▁▁▁▁▁▁▁▁▁▁▁",
       "▁ ▁▁▁▁▁▁▁▁▁▁",
-      "▁▁ ▁▁▁▁▁▁▁▁▁▁▁▁▁",
-      "▁▁▁▁ ▁▁▁▁▁▁▁▁▁▁▁",
-      "▁▁▁▁▁▁▁▁ ▁▁▁▁▁▁▁",
-      "▁▁▁▁▁ ▁▁▁▁▁▁▁▁▁▁",
-      "▁▁▁▁▁▁ ▁▁▁▁▁▁▁▁▁",
-      "▁▁▁▁▁▁▁▁▁▁▁▁ ▁▁▁",
-      "▁▁▁▁▁▁▁▁▁▁▁▁▁ ▁▁",
-      "▁▁▁▁▁▁▁▁▁▁ ▁▁▁▁▁",
-      "���▁▁▁▁▁▁▁▁▁▁▁▁▁ ▁",
-      "▁▁▁ ▁▁▁▁▁▁▁▁▁▁▁▁",
-      "▁▁▁▁▁▁▁▁▁ ▁▁▁▁▁▁",
-      "▁▁▁▁▁▁▁ ▁▁▁▁▁▁▁▁",
-      "▁▁▁▁▁▁▁▁▁▁▁ ▁▁▁▁",
-      "▁ ▁▁▁▁▁▁▁▁▁▁▁▁▁▁"
+      "▁ ▁▁▁▁▁▁▁▁▁▁▁▁▁▁",
+      "▁ ▁▁▁",
+      "▁ ▁▁▁▁▁▁▁▁▁",
+      "▁ ▁▁▁▁▁▁▁",
+      "▁ ▁▁▁▁▁▁▁▁▁▁▁",
+      "▁ ▁▁▁▁▁▁▁▁▁▁▁▁▁▁▁",
+      "▁ ▁"
     ]
   }
 }

tokenizer_config.json

@@ -25,51 +25,15 @@
       "rstrip": false,
       "single_word": false,
       "special": true
-    },
-    "32000": {
-      "content": "<|im_end|>",
-      "lstrip": false,
-      "normalized": false,
-      "rstrip": false,
-      "single_word": false,
-      "special": true
-    },
-    "32001": {
-      "content": "<|im_system|>",
-      "lstrip": false,
-      "normalized": false,
-      "rstrip": false,
-      "single_word": false,
-      "special": false
-    },
-    "32002": {
-      "content": "<|im_user|>",
-      "lstrip": false,
-      "normalized": false,
-      "rstrip": false,
-      "single_word": false,
-      "special": false
-    },
-    "32003": {
-      "content": "<|im_bot|>",
-      "lstrip": false,
-      "normalized": false,
-      "rstrip": false,
-      "single_word": false,
-      "special": false
     }
   },
   "bos_token": "<s>",
   "clean_up_tokenization_spaces": false,
-  "eos_token": "<|im_end|>",
-  "legacy": false,
+  "eos_token": "</s>",
   "model_max_length": 1000000000000000019884624838656,
-  "pad_token": "<unk>",
+  "pad_token": null,
   "sp_model_kwargs": {},
-  "spaces_between_special_tokens": false,
   "tokenizer_class": "LlamaTokenizer",
-  "trust_remote_code": false,
   "unk_token": "<unk>",
-  "use_default_system_prompt": false,
-  "use_fast": true
+  "use_default_system_prompt": false
 }