asaoka commited on
Commit
2c67ae3
·
verified ·
1 Parent(s): fa61667

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +9 -3
README.md CHANGED
@@ -27,7 +27,7 @@ model = AutoModelForCausalLM.from_pretrained(
27
 
28
  # トークナイザーの読み込み
29
  tokenizer = AutoTokenizer.from_pretrained(
30
- "meta-llama/Llama-2-7b-hf"
31
  )
32
 
33
  # LoRAの読み込み
@@ -50,9 +50,15 @@ print(tokenizer.decode(outputs[0], skip_special_tokens=True))
50
 
51
  使用方法は,[「Google Colab で Llama-2-7B のQLoRA ファインチューニングを試す」](https://note.com/npaka/n/na7c631175111#f2af0e53-4ef3-4288-b152-6524f1b940a7)を参照しました.
52
 
53
- # トークナイザー
 
 
 
 
 
 
54
 
55
- - [meta-llama/Llama-2-7b-hf](https://huggingface.co/meta-llama/Llama-2-7b-hf)のトークナイザーをそのまま使用
56
 
57
  # トレーニング方法
58
 
 
27
 
28
  # トークナイザーの読み込み
29
  tokenizer = AutoTokenizer.from_pretrained(
30
+ "asaoka/Llama-2-7b-hf-qlora-dolly15k-japanese",
31
  )
32
 
33
  # LoRAの読み込み
 
50
 
51
  使用方法は,[「Google Colab で Llama-2-7B のQLoRA ファインチューニングを試す」](https://note.com/npaka/n/na7c631175111#f2af0e53-4ef3-4288-b152-6524f1b940a7)を参照しました.
52
 
53
+ # トークナイザーの日本語拡張
54
+
55
+ ## 1. 日本語専用のトークナイザーを学習
56
+
57
+ トークナイザー学習は,[ce-lery/japanese-mistral-300m-base](https://huggingface.co/ce-lery/japanese-mistral-300m-base)を参照しました.
58
+
59
+ ## 2. 日本語専用トークナイザーと[meta-llama/Llama-2-7b-hf](https://huggingface.co/meta-llama/Llama-2-7b-hf)のトークナイザーをマージ
60
 
61
+ トークナイザーのマージは,[「日本語が話せるLlamaモデルをDIYする」](https://qiita.com/Taiyou2000/items/3229d320c252d6de33c7)を参照しました.
62
 
63
  # トレーニング方法
64