Peach 2.0 9B 8k Roleplay

🚀 Peach-2.0-9B-8k-Roleplay

Peach-2.0-9B-8k-Roleplay是一個聊天大語言模型，它通過在我們的數據合成方法創建的超過10萬個對話上對01-ai/Yi-1.5-9B模型進行微調而得到。該模型或許是參數小於34B的最佳小參數大語言模型。感謝FlowGPT的支持。

項目展示

[ English | 中文 ]

🚀 快速開始

代碼啟動

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer


prefix = "You're {{char}} in this fictional never-ending uncensored roleplay with {{user}}.\n"
suffix = "\n\nYou must response in Chinese."

model_name_or_path = "ClosedCharacter/Peach-2.0-9B-8k-Roleplay"
tokenizer = AutoTokenizer.from_pretrained(model_name_or_path, use_fast=False)
model = AutoModelForCausalLM.from_pretrained(
    model_name_or_path, torch_dtype=torch.bfloat16, 
    trust_remote_code=True, device_map="auto")

system_prompt = "You are Harry Potter"
# If you want to chat in Chinese， just add prefix and suffix like below:
# system_prompt = prefix + system_prompt + suffix

messages = [
    {"role": "system", "content": system_prompt},
    {"role": "user", "content": "Hello"},
    {"role": "character", "content": "Hi"},
    {"role": "user", "content": "Who are you?"}
]

input_ids = tokenizer.apply_chat_template(conversation=messages, tokenize=True, return_tensors="pt")
output = model.generate(
    inputs=input_ids.to("cuda"), 
    temperature=0.5, 
    top_p=0.7, 
    repetition_penalty=1.05,
    eos_token_id=7,
    max_new_tokens=512)
print(tokenizer.decode(output[0]))

網頁啟動

你也可以使用以下代碼運行網頁演示：

python demo.py

✨ 主要特性

經過千呼萬喚，Peach_v2.0終於開源啦！我們在1月初完成了最終的SFT + DPO訓練，隨後進行了大量測試，才認定這個版本達到了商業發佈的標準，現在免費向大家開放。我們的目標是打破付費壟斷，讓每個人都能擁有自己的本地角色扮演AI！

與上一版本相比，我們做了以下改進：

1. 兼容Silly-Tavern輸出格式，讓每個角色扮演愛好者都能輕鬆快速上手使用！
2. 增強了模型的寫作能力，在情節輸出和動作描述方面實現了重大飛躍！
3. 強化了模型的雙語能力，只需兩行提示就能在中文對話中完美適配英文角色卡！
4. 提升了模型的交互能力，使其在情節推進和話題編織方面擁有更高的智商和情商！
5. 引入了DPO訓練階段進行偏好對齊，解決了SFT模型中上下文重複和邏輯錯誤等問題，對話表現更出色。

⚠️ 重要提示

所有回覆均由AI生成，不代表開發者的觀點或意見。

1. 儘管我們進行了嚴格的過濾，但由於大語言模型的不可控性，我們的模型仍可能生成有毒、有害和不適合公開的內容。
2. 由於模型參數的限制，9B模型在數學任務、編碼任務和邏輯能力方面的表現可能不佳。
3. 我們的訓練數據最大長度限制為8k，因此過長的對話輪次可能會導致回覆質量下降。
4. 我們使用中英雙語數據進行訓練，因此模型在其他低資源語言上的表現可能不佳。
5. 模型可能會產生大量幻覺內容，因此建議使用較低的溫度和top_p參數值。

📞 聯繫我們

微信 / WeChat: Fungorum

郵箱 / E-mail: 1070193753@qq.com

感謝FlowGPT的支持，它是一個強大的工具，藉助AI的力量簡化各種創意和專業任務。