about tokenizer

README.md

@@ -31,6 +31,10 @@ Wikipediaをコーパスとし、perplexity 40 程度となります。
 rinna/japanese-gpt2-meduim を直接使った場合、27 程度なので、そこまで及びません。
 何度か複数のパラメータで訓練の再開を試みたものの、かえって損失が上昇してしまう状態となってしまったので、現状のものを公開しています。
 
+## トークナイザについて
+
+トークナイザは rinna/japanese-gpt2-meduim を使ってください。
+
 # Japanese GPT-2 model
 
 This model is a dillated model from [rinna/japanese-gpt2-medium](https://huggingface.co/rinna/japanese-gpt2-medium).
@@ -48,6 +52,10 @@ Using a2-highgpu-4 instance (A100 x4), it takes about 4 months with some stoppin
 The model gets about 40 perplexity with Wikipedia corpus.
 The teacher model rinna/japanese-gpt2-meduim gets about 27 perplexity, so the student model is worse.
 
+## tokenizer
+
+The repository don't have tokenizer, so you shoud use rinna/japanese-gpt2-medium.
+
 # LICENSE
 
 MIT  (same as rinna/japanese-gpt2-medium)