| license: mit | |
| language: | |
| - ja | |
| 日本語データセットで train した Tokenizer です. | |
| 単体での利用は想定しておらず, LLaMa Tokenizer などにマージして利用するのを想定しています. | |
| ## Training script | |
| `train_jp_tokenizer.py` を参照ください. | |
| ## Trained tokenizer | |
| * `tokenizer-cc100-ja.json` | |
| cc100 ja データセットをそのまま(normalize など適用せずに) train したもの. vocab size 30000. | |
| ## TODO | |
| * [ ] Normalize した日本語テキストに対して train する | |
| * [ ] マージした Tokenizer をアップロードする |