Update README.md

README.md

@@ -15,12 +15,12 @@ base_model:
 
 ### Model Description
 
-llm-jp-3.13bをベースモデルにichikara-instruction-003でSFTを実施したモデル
+llm-jp-3.13bをベースモデルにichikara-instruction-003でSFTを実施したモデルです。
 
-配布されたLoRA_templateをベースに以下のとおりパラメータを変更。
-・PEFTのLoRAのスケーリング係数を調整。
-・学習の評価バッチサイズ、購買累積回数及び学習率を調整。auto_find_batch_sizeをTrueに設定。
-・SFTの設定にneftune_noise_alphaを追加。
+配布されたLoRA_templateをベースに以下のとおりパラメータを変更しています。
+○PEFTのLoRAのスケーリング係数を調整。
+○学習の評価バッチサイズ、購買累積回数及び学習率を調整。auto_find_batch_sizeをTrueに設定。
+○SFTの設定にneftune_noise_alphaを追加。
 
 
 ### Sample Uses
@@ -44,21 +44,21 @@ import torch
 from tqdm import tqdm
 import json
 
-HF_TOKEN = "****(your token)"
+HF_TOKEN = "******(your token)"
 
 # ベースとなるモデル（llm-jp/llm-jp-3-13b）と学習したLoRAのアダプタID（momiji8888/momijillm-jp-3-finetune3）
 model_id = "models/models--llm-jp--llm-jp-3-13b/snapshots/cd3823f4c1fcbb0ad2e2af46036ab1b0ca13192a"
 
-adapter_id = "momiji8888/momijillm-jp-3-finetune3"
+adapter_id = "momiji8888/momijillm-jp-3-finetune3" 
 
-# QLoRA config
+# QLoRAの設定
 bnb_config = BitsAndBytesConfig(
     load_in_4bit=True,
     bnb_4bit_quant_type="nf4",
     bnb_4bit_compute_dtype=torch.bfloat16,
 )
 
-# Load model
+# モデルの読み込み
 model = AutoModelForCausalLM.from_pretrained(
     model_id,
     quantization_config=bnb_config,
@@ -66,13 +66,14 @@ model = AutoModelForCausalLM.from_pretrained(
     token = HF_TOKEN
 )
 
-# Load tokenizer
+# トークナイザーの読み込み
 tokenizer = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True, token = HF_TOKEN)
 
 # 元のモデルにLoRAのアダプタを統合
 model = PeftModel.from_pretrained(model, adapter_id, token = HF_TOKEN)
 
 # elyza-tasks-100-TVのデータセットの読み込み
+datasets = []
 with open("./elyza-tasks-100-TV_0.jsonl", "r") as f:
     item = ""
     for line in f: