momiji8888
commited on
Commit
•
f77f34d
1
Parent(s):
aea0745
Update README.md
Browse files
README.md
CHANGED
@@ -19,7 +19,7 @@ llm-jp-3.13bをベースモデルにichikara-instruction-003でSFTを実施し
|
|
19 |
|
20 |
配布されたLoRA_templateをベースに以下のとおりパラメータを変更しています。
|
21 |
○PEFTのLoRAのスケーリング係数を調整。
|
22 |
-
|
23 |
○SFTの設定にneftune_noise_alphaを追加。
|
24 |
|
25 |
|
|
|
19 |
|
20 |
配布されたLoRA_templateをベースに以下のとおりパラメータを変更しています。
|
21 |
○PEFTのLoRAのスケーリング係数を調整。
|
22 |
+
○学習の評価バッチサイズ及び学習率を調整。auto_find_batch_sizeをTrueに設定。
|
23 |
○SFTの設定にneftune_noise_alphaを追加。
|
24 |
|
25 |
|