【Issue】模型经过泛化后，会不会丢失原有的微调属性
#1
by
Moemu
- opened
如标题，我在担心这个问题。因为我们并没有给出通用领域的训练集和nsfw内容。这里面大部分会不会有Prompt的功劳？
我个人认为，泛化和prompt一定有关系
在你提供的数据中，我为其添加了基于对话的prompt进行训练，训练效果绝对要比无prompt更好
如果有任何观点或者问题，你可以加我Q：1959921673
讨论一下微调方面的经验
另外，最近我也在做微调教程，可以关注这个项目，后期会出wiki：https://github.com/Seikaijyu/RWKV-PEFT-Simple
另外，还有一件事，最近我打算利用使用沐雪数据集微调的模型做多轮沐雪对话集，可以敬请期待
Seikaijyu
changed discussion status to
closed