Update README.md
Browse files
README.md
CHANGED
@@ -27,7 +27,7 @@ model = AutoModelForCausalLM.from_pretrained(
|
|
27 |
|
28 |
# トークナイザーの読み込み
|
29 |
tokenizer = AutoTokenizer.from_pretrained(
|
30 |
-
"
|
31 |
)
|
32 |
|
33 |
# LoRAの読み込み
|
@@ -50,9 +50,15 @@ print(tokenizer.decode(outputs[0], skip_special_tokens=True))
|
|
50 |
|
51 |
使用方法は,[「Google Colab で Llama-2-7B のQLoRA ファインチューニングを試す」](https://note.com/npaka/n/na7c631175111#f2af0e53-4ef3-4288-b152-6524f1b940a7)を参照しました.
|
52 |
|
53 |
-
#
|
|
|
|
|
|
|
|
|
|
|
|
|
54 |
|
55 |
-
|
56 |
|
57 |
# トレーニング方法
|
58 |
|
|
|
27 |
|
28 |
# トークナイザーの読み込み
|
29 |
tokenizer = AutoTokenizer.from_pretrained(
|
30 |
+
"asaoka/Llama-2-7b-hf-qlora-dolly15k-japanese",
|
31 |
)
|
32 |
|
33 |
# LoRAの読み込み
|
|
|
50 |
|
51 |
使用方法は,[「Google Colab で Llama-2-7B のQLoRA ファインチューニングを試す」](https://note.com/npaka/n/na7c631175111#f2af0e53-4ef3-4288-b152-6524f1b940a7)を参照しました.
|
52 |
|
53 |
+
# トークナイザーの日本語拡張
|
54 |
+
|
55 |
+
## 1. 日本語専用のトークナイザーを学習
|
56 |
+
|
57 |
+
トークナイザー学習は,[ce-lery/japanese-mistral-300m-base](https://huggingface.co/ce-lery/japanese-mistral-300m-base)を参照しました.
|
58 |
+
|
59 |
+
## 2. 日本語専用トークナイザーと[meta-llama/Llama-2-7b-hf](https://huggingface.co/meta-llama/Llama-2-7b-hf)のトークナイザーをマージ
|
60 |
|
61 |
+
トークナイザーのマージは,[「日本語が話せるLlamaモデルをDIYする」](https://qiita.com/Taiyou2000/items/3229d320c252d6de33c7)を参照しました.
|
62 |
|
63 |
# トレーニング方法
|
64 |
|