lightnovel_cpt / README.md
shigureui's picture
Update README.md
2e6a17a verified
metadata
license: mit
datasets:
  - a686d380/h-corpus-2023
language:
  - zh
base_model:
  - Qwen/Qwen2.5-7B
library_name: transformers

使用了Megatron CPT训练的轻小说大模型

使用了Pai Megatron + 32K Sequence Length + FP8 + H100 集群训练

这个模型是CPT版本。使用了32K为目标切分的小说,所以可以输入非常长的内容,不过int8量化的话我不好说 (24G卡BF16 32K content windows, 杂鱼!)

关于数据

  1. 轻小说数据在7G左右,这个版本是CPT版本,没有SFT,请不要期待指令跟随。
  2. Roleplay数据非常容易导致过拟合,增加猫箱的RP数据会导致小说的续写长度变短,并且没有发现anime girl效果变好。(几家app用户大多是同人女的关系?)
  3. h-corpus质量参差不齐,只采样了一些,用了与轻小说数据量相同的7G左右的文本。(这个数据集与轻小说没有完全太重合,考虑pixiv子集)
  4. SFT的数据没有准备好,涉及到summary文章再写作,还有给定章节续写,对话的RP依旧非常头痛。
  5. h-corpus的summary暂时没有做,summary用的模型一时没有太好的选择。

轻小说数据来源包括 https://github.com/ixinzhi/lightnovel-2023 清洗脚本晚些可能公开

7B模型整体效果感觉马马虎虎,不过由于整体数据没有太被污染,效果明显。

已经训练好32B的模型(TP=8 FP8),32B版本逻辑性明显好。(搬到huggingface比较久)

如果模型载入有问题的话,请用qwen2.5原本的tokenizer、vocab等等覆盖一下,我只有权重的megatron转换出来的。

模型的翻译腔是预期效果?

image/png