syoyo commited on
Commit
ff96ef6
·
1 Parent(s): 7099b14

Update README.md

Browse files

RWKV 7B を LoRA + Alpaca_jp データセットで finetune したものです.

RWKV-4-Pile-7B-20221115-8047.pth をベースにしています.
epoch は 100 (3090 x 2 でおよそ 4 日)になります.

finetune 部分だけなので, 別途 RWKV-4-Pile-7B-20221115-8047.pth https://huggingface.co/BlinkDL/rwkv-4-pile-7b/blob/main/RWKV-4-Pile-7B-20221115-8047.pth を取得して利用ください.

詳細は

https://zenn.dev/articles/4ef48b859e9433

を参照ください.


## ライセンス

alpaca, およびそれを日本語翻訳した alpaca-jp のデータセット https://github.com/shi3z/alpaca_ja が cc-by-nc 4.0 のため, 本ファインチューンした差分も cc-by-nc 4.0 でライセンスします.
調査や評価用に利用ください.

Files changed (1) hide show
  1. README.md +7 -2
README.md CHANGED
@@ -1,3 +1,8 @@
1
  ---
2
- license: cc-by-sa-4.0
3
- ---
 
 
 
 
 
 
1
  ---
2
+ license: cc-by-nc-4.0
3
+ language:
4
+ - ja
5
+ tags:
6
+ - rwkv
7
+ - alpaca-jp
8
+ ---