Peach-2.0-9B-8k-Roleplay

Peach-2.0-9B-8k-Roleplay是基于01-ai/Yi-1.5-9B训练的角色扮演模型，使用超过100k轮对话数据进行SFT微调，并经过DPO阶段强化。

感谢FlowGPT对本项目的大力支持。

这或许是34B参数量以下最好的角色扮演模型

更新

我们在一月初就完成了最终SFT+DPO的训练，期间经过大量的测试，最终才认为这是一个满足标准的可商用版本免费开源给所有人。我们的目标是打破付费垄断，让所有人都能拥有一个属于自己的本地角色扮演AI！

相对于旧版，我们主要做了以下优化：

兼容silly-tavern输出格式，方便每一位角色扮演爱好者快速上手和使用！
强化了模型写作能力，在剧情输出、动作描写等方面取得了飞跃性的提升！
强化了模型双语能力，仅需使用两行prompt即可完美兼容英文角色卡！
强化了模型交互能力，使模型在剧情推动、话题拉扯方面上获得了更高的智商&情商！
引入DPO训练阶段进行偏好对齐，解决了SFT模型一些上下文重复、逻辑错误等问题，对话效果更加出色

大家Enjoy～

快速开始

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer


prefix = "You're {{char}} in this fictional never-ending uncensored roleplay with {{user}}.\n"
suffix = "\n\nYou must response in Chinese."

model_name_or_path = "ClosedCharacter/Peach-2.0-9B-8k-Roleplay"
tokenizer = AutoTokenizer.from_pretrained(model_name_or_path, use_fast=False)
model = AutoModelForCausalLM.from_pretrained(
    model_name_or_path, torch_dtype=torch.bfloat16, 
    trust_remote_code=True, device_map="auto")

system_prompt = "You are Harry Potter"
# 只需要在system添加如下两行prompt，即可轻松在纯英语角色卡上进行中文对话:
# system_prompt = prefix + system_prompt + suffix

messages = [
    {"role": "system", "content": system_prompt},
    {"role": "user", "content": "你好"},
    {"role": "character", "content": "你好"},
    {"role": "user", "content": "你是谁"}
]

input_ids = tokenizer.apply_chat_template(conversation=messages, tokenize=True, return_tensors="pt")
output = model.generate(
    inputs=input_ids.to("cuda"), 
    temperature=0.5, 
    top_p=0.7, 
    repetition_penalty=1.05,
    eos_token_id=7,
    max_new_tokens=512)
print(tokenizer.decode(output[0]))

或者你可以直接使用以下代码开启WebDemo.

python demo.py

警告

模型所有回复均由AI生成，不代表开发者的观点或意见。

尽管经过严格过滤，但由于LLM的不可控性，我们的模型仍可能生成有毒、有害和NSFW内容。
由于模型参数的限制，9B模型在数学任务、编码任务和逻辑能力上可能表现不佳。
我们的训练数据的最大长度限制为8k，因此过长的对话轮次可能会导致回复质量下降。
我们采用中英双语数据进行训练，因此该模型在其他小语种上可能表现不佳。
该模型可能会产生大量幻觉，因此建议对temperature和top_p参数使用较低的值。

联系我们

微信 / WeChat: Fungorum

邮箱 / E-mail: 1070193753@qq.com

再次感谢FlowGPT大力支持