Update README.md
Browse filesRWKV 7B を LoRA + Alpaca_jp データセットで finetune したものです.
RWKV-4-Pile-7B-20221115-8047.pth をベースにしています.
epoch は 100 (3090 x 2 でおよそ 4 日)になります.
finetune 部分だけなので, 別途 RWKV-4-Pile-7B-20221115-8047.pth https://huggingface.co/BlinkDL/rwkv-4-pile-7b/blob/main/RWKV-4-Pile-7B-20221115-8047.pth を取得して利用ください.
詳細は
https://zenn.dev/articles/4ef48b859e9433
を参照ください.
## ライセンス
alpaca, およびそれを日本語翻訳した alpaca-jp のデータセット https://github.com/shi3z/alpaca_ja が cc-by-nc 4.0 のため, 本ファインチューンした差分も cc-by-nc 4.0 でライセンスします.
調査や評価用に利用ください.