Note Multilingual human curated

Note FLAN-like from multilingual multitask NLP datasets

Note 百科全书式数据，由Mistral-7bx8-instruct-v0.1生成

Note Arabic sft

Note Chinese sft

Note 1. 使用来自 Open Assistant (OASST) 中标注的 quality, toxicity, violence, helpfulness, creativity, humor and inappropriateness 作为 response 属性训练 attribute prediction model (APM) 2. 用 APM 标注现有 sft dataset D 用得到 D'(x,y,v), v 为 attributes 3. 用 llm 在 D' 上 sft，得到 llm' 4. 用 llm' 加属性在 sft 上采样生成大量 response，然后用 APM 重新预测属性得到 v'，再用新的 v' 结合生成的 responses 再巡一遍 llm 得到 llm' 这种方式可以用 language-modelling 的方式学习到反馈信号，而不必 rlhf

Note dpo; system prompt; toxic

Note 支持离线评测，类似 IFEval

Note dpo; system prompt; roleplay

Note sft; system prompt; system prompt 多样性一般

Note system prompt; contradicted system prompt; 1. 先构造 system prompt + input 生成对应 response 2. 生成一个 contradict system prompt + input 生成对应 response 这个可以用来避免 system prompt 句式单一，都是肯定句，让模型能够遵循 system prompt 里的否定指令。

Note roleplay; train/test; benchmark

Note roleplay; chinese; 中文