shigureui commited on
Commit
ebc0ad5
·
verified ·
1 Parent(s): ed2ae08

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +6 -1
README.md CHANGED
@@ -12,12 +12,17 @@ library_name: transformers
12
  ## 使用了Megatron CPT训练的轻小说大模型
13
  使用了Pai Megatron + 32K Sequence Length + FP8 + H100 集群训练
14
 
 
 
 
15
  轻小说数据在7G左右,这个版本是CPT版本,没有SFT,请不要期待指令跟随。
16
 
17
  轻小说数据来源包括 https://github.com/ixinzhi/lightnovel-2023
18
  清洗脚本晚些可能公开
19
 
20
- 7B模型整体效果感觉马马虎虎,已经训练好32B的模型,32B版本逻辑性非常好。
 
 
21
 
22
  如果模型载入有问题的话,请用qwen2.5原本的tokenizer、vocab等等覆盖一下,我只有权重的megatron转换出来的。
23
 
 
12
  ## 使用了Megatron CPT训练的轻小说大模型
13
  使用了Pai Megatron + 32K Sequence Length + FP8 + H100 集群训练
14
 
15
+ CPT使用了32K为目标切分的小说,所以可以输入非常长的内容,不过int8量化的话我不好说
16
+ (24G卡BF16 32K content windows, 杂鱼!)
17
+
18
  轻小说数据在7G左右,这个版本是CPT版本,没有SFT,请不要期待指令跟随。
19
 
20
  轻小说数据来源包括 https://github.com/ixinzhi/lightnovel-2023
21
  清洗脚本晚些可能公开
22
 
23
+ 7B模型整体效果感觉马马虎虎。
24
+
25
+ 已经训练好32B的模型,32B版本逻辑性非常好。(晚点在公开,好大)
26
 
27
  如果模型载入有问题的话,请用qwen2.5原本的tokenizer、vocab等等覆盖一下,我只有权重的megatron转换出来的。
28