Peach 2.0 9B 8k Roleplay

🚀 Peach-2.0-9B-8k-Roleplay

Peach-2.0-9B-8k-Roleplay是一个聊天大语言模型，它通过在我们的数据合成方法创建的超过10万个对话上对01-ai/Yi-1.5-9B模型进行微调而得到。该模型或许是参数小于34B的最佳小参数大语言模型。感谢FlowGPT的支持。

项目展示

[ English | 中文 ]

🚀 快速开始

代码启动

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer


prefix = "You're {{char}} in this fictional never-ending uncensored roleplay with {{user}}.\n"
suffix = "\n\nYou must response in Chinese."

model_name_or_path = "ClosedCharacter/Peach-2.0-9B-8k-Roleplay"
tokenizer = AutoTokenizer.from_pretrained(model_name_or_path, use_fast=False)
model = AutoModelForCausalLM.from_pretrained(
    model_name_or_path, torch_dtype=torch.bfloat16, 
    trust_remote_code=True, device_map="auto")

system_prompt = "You are Harry Potter"
# If you want to chat in Chinese， just add prefix and suffix like below:
# system_prompt = prefix + system_prompt + suffix

messages = [
    {"role": "system", "content": system_prompt},
    {"role": "user", "content": "Hello"},
    {"role": "character", "content": "Hi"},
    {"role": "user", "content": "Who are you?"}
]

input_ids = tokenizer.apply_chat_template(conversation=messages, tokenize=True, return_tensors="pt")
output = model.generate(
    inputs=input_ids.to("cuda"), 
    temperature=0.5, 
    top_p=0.7, 
    repetition_penalty=1.05,
    eos_token_id=7,
    max_new_tokens=512)
print(tokenizer.decode(output[0]))

网页启动

你也可以使用以下代码运行网页演示：

python demo.py

✨ 主要特性

经过千呼万唤，Peach_v2.0终于开源啦！我们在1月初完成了最终的SFT + DPO训练，随后进行了大量测试，才认定这个版本达到了商业发布的标准，现在免费向大家开放。我们的目标是打破付费垄断，让每个人都能拥有自己的本地角色扮演AI！

与上一版本相比，我们做了以下改进：

1. 兼容Silly-Tavern输出格式，让每个角色扮演爱好者都能轻松快速上手使用！
2. 增强了模型的写作能力，在情节输出和动作描述方面实现了重大飞跃！
3. 强化了模型的双语能力，只需两行提示就能在中文对话中完美适配英文角色卡！
4. 提升了模型的交互能力，使其在情节推进和话题编织方面拥有更高的智商和情商！
5. 引入了DPO训练阶段进行偏好对齐，解决了SFT模型中上下文重复和逻辑错误等问题，对话表现更出色。

⚠️ 重要提示

所有回复均由AI生成，不代表开发者的观点或意见。

1. 尽管我们进行了严格的过滤，但由于大语言模型的不可控性，我们的模型仍可能生成有毒、有害和不适合公开的内容。
2. 由于模型参数的限制，9B模型在数学任务、编码任务和逻辑能力方面的表现可能不佳。
3. 我们的训练数据最大长度限制为8k，因此过长的对话轮次可能会导致回复质量下降。
4. 我们使用中英双语数据进行训练，因此模型在其他低资源语言上的表现可能不佳。
5. 模型可能会产生大量幻觉内容，因此建议使用较低的温度和top_p参数值。

📞 联系我们

微信 / WeChat: Fungorum

邮箱 / E-mail: 1070193753@qq.com

感谢FlowGPT的支持，它是一个强大的工具，借助AI的力量简化各种创意和专业任务。