Commit
•
4651947
1
Parent(s):
3e751b7
Update README.md
Browse files
README.md
CHANGED
|
@@ -5,6 +5,8 @@ RWKV-4-World的Hugface格式，因新版World的tokenizer较之前Raven\Pile版
|
|
| 5 |
ringrwkv兼容了原生rwkv库和transformers的rwkv库，同时新添入World版本的配置及代码（支持1.5B，3B，7B全系列），并修复了原HF的RWKV在
|
| 6 |
Forward RWKVOutput时的细微问题，主要是引入和明确last_hidden_state。以下是轻量级使用代码，比较方便：<br>
|
| 7 |
|
|
|
|
|
|
|
| 8 |
import torch<br>
|
| 9 |
from ringrwkv.configuration_rwkv_world import RwkvConfig<br>
|
| 10 |
from ringrwkv.rwkv_tokenizer import TRIE_TOKENIZER<br>
|
|
|
|
| 5 |
ringrwkv兼容了原生rwkv库和transformers的rwkv库，同时新添入World版本的配置及代码（支持1.5B，3B，7B全系列），并修复了原HF的RWKV在
|
| 6 |
Forward RWKVOutput时的细微问题，主要是引入和明确last_hidden_state。以下是轻量级使用代码，比较方便：<br>
|
| 7 |
|
| 8 |
+
RingRWKV GIT开源地址：https://github.com/StarRing2022/RingRWKV <br>
|
| 9 |
+
|
| 10 |
import torch<br>
|
| 11 |
from ringrwkv.configuration_rwkv_world import RwkvConfig<br>
|
| 12 |
from ringrwkv.rwkv_tokenizer import TRIE_TOKENIZER<br>
|