Update README.md
Browse files
README.md
CHANGED
@@ -12,12 +12,17 @@ library_name: transformers
|
|
12 |
## 使用了Megatron CPT训练的轻小说大模型
|
13 |
使用了Pai Megatron + 32K Sequence Length + FP8 + H100 集群训练
|
14 |
|
|
|
|
|
|
|
15 |
轻小说数据在7G左右,这个版本是CPT版本,没有SFT,请不要期待指令跟随。
|
16 |
|
17 |
轻小说数据来源包括 https://github.com/ixinzhi/lightnovel-2023
|
18 |
清洗脚本晚些可能公开
|
19 |
|
20 |
-
7B
|
|
|
|
|
21 |
|
22 |
如果模型载入有问题的话,请用qwen2.5原本的tokenizer、vocab等等覆盖一下,我只有权重的megatron转换出来的。
|
23 |
|
|
|
12 |
## 使用了Megatron CPT训练的轻小说大模型
|
13 |
使用了Pai Megatron + 32K Sequence Length + FP8 + H100 集群训练
|
14 |
|
15 |
+
CPT使用了32K为目标切分的小说,所以可以输入非常长的内容,不过int8量化的话我不好说
|
16 |
+
(24G卡BF16 32K content windows, 杂鱼!)
|
17 |
+
|
18 |
轻小说数据在7G左右,这个版本是CPT版本,没有SFT,请不要期待指令跟随。
|
19 |
|
20 |
轻小说数据来源包括 https://github.com/ixinzhi/lightnovel-2023
|
21 |
清洗脚本晚些可能公开
|
22 |
|
23 |
+
7B模型整体效果感觉马马虎虎。
|
24 |
+
|
25 |
+
已经训练好32B的模型,32B版本逻辑性非常好。(晚点在公开,好大)
|
26 |
|
27 |
如果模型载入有问题的话,请用qwen2.5原本的tokenizer、vocab等等覆盖一下,我只有权重的megatron转换出来的。
|
28 |
|