momiji8888
commited on
Commit
•
aea0745
1
Parent(s):
112df04
Update README.md
Browse files
README.md
CHANGED
@@ -19,7 +19,7 @@ llm-jp-3.13bをベースモデルにichikara-instruction-003でSFTを実施し
|
|
19 |
|
20 |
配布されたLoRA_templateをベースに以下のとおりパラメータを変更しています。
|
21 |
○PEFTのLoRAのスケーリング係数を調整。
|
22 |
-
|
23 |
○SFTの設定にneftune_noise_alphaを追加。
|
24 |
|
25 |
|
|
|
19 |
|
20 |
配布されたLoRA_templateをベースに以下のとおりパラメータを変更しています。
|
21 |
○PEFTのLoRAのスケーリング係数を調整。
|
22 |
+
○学習の評価バッチサイズ、勾配累積回数及び学習率を調整。auto_find_batch_sizeをTrueに設定。
|
23 |
○SFTの設定にneftune_noise_alphaを追加。
|
24 |
|
25 |
|