metadata
license: mit
language:
- ja
日本語データセットで train した Tokenizer です.
単体での利用は想定しておらず, LLaMa Tokenizer などにマージして利用するのを想定しています.
Training script
train_jp_tokenizer.py を参照ください.
Trained tokenizer
tokenizer-cc100-ja.jsoncc100 ja データセットをそのまま(normalize など適用せずに) train したもの. vocab size 30000.
TODO
- Normalize した日本語テキストに対して train する
- マージした Tokenizer をアップロードする