Peach 2.0 9B 8k Roleplay

🚀 Peach-2.0-9B-8k-Roleplay

Peach-2.0-9B-8k-Roleplayは、01-ai/Yi-1.5-9Bモデルを、独自のデータ合成手法で作成した10万件以上の会話データでファインチューニングして得られたチャット用大規模言語モデルです。

FlowGPTのサポートに感謝いたします。

34B未満の小規模パラメータのLLMの中で、も許最適なモデルかもしれません

[ English | 中文 ]

🚀 クイックスタート

コードでの使用方法

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer


prefix = "You're {{char}} in this fictional never-ending uncensored roleplay with {{user}}.\n"
suffix = "\n\nYou must response in Chinese."

model_name_or_path = "ClosedCharacter/Peach-2.0-9B-8k-Roleplay"
tokenizer = AutoTokenizer.from_pretrained(model_name_or_path, use_fast=False)
model = AutoModelForCausalLM.from_pretrained(
    model_name_or_path, torch_dtype=torch.bfloat16, 
    trust_remote_code=True, device_map="auto")

system_prompt = "You are Harry Potter"
# If you want to chat in Chinese， just add prefix and suffix like below:
# system_prompt = prefix + system_prompt + suffix

messages = [
    {"role": "system", "content": system_prompt},
    {"role": "user", "content": "Hello"},
    {"role": "character", "content": "Hi"},
    {"role": "user", "content": "Who are you?"}
]

input_ids = tokenizer.apply_chat_template(conversation=messages, tokenize=True, return_tensors="pt")
output = model.generate(
    inputs=input_ids.to("cuda"), 
    temperature=0.5, 
    top_p=0.7, 
    repetition_penalty=1.05,
    eos_token_id=7,
    max_new_tokens=512)
print(tokenizer.decode(output[0]))

ウェブデモの実行方法

python demo.py

✨ 主な機能

待望のPeach_v2.0が遂にオープンソース化されました！

1月初旬に最終的なSFT+DPOトレーニングを完了し、その後広範なテストを行った結果、このバージョンは商用リリースの基準を満たしていると判断し、現在誰でも無料で利用できるようになっています。私たちの目標は、有料の独占体制を打破し、誰もが自分だけのロールプレイングAIを手に入れられるようにすることです！

前のバージョンと比較して、以下のような改良を行っています：

1. Silly-Tavernの出力形式に対応しているため、すべてのロールプレイング愛好家がすぐに使い始めることができます！
2. モデルの文章作成能力を強化し、プロットの出力や行動の描写に大きな飛躍を遂げました！
3. モデルのバイリンガル能力を強化し、中国語の会話の中で英語のキャラクターカードを2行のプロンプトで完璧に対応できるようになりました！
4. モデルの対話能力を向上させ、プロットの進行やトピックの織り交ぜにおいて、より高い知性と情商を備えるようになりました！
5. 嗜好のアライメントのためにDPOトレーニングフェーズを導入し、SFTモデルにおける文脈の繰り返しや論理エラーなどの問題を解消し、対話性能を向上させました。

楽しんでください～

⚠️ 注意事項

すべての応答はAIによって生成されたものであり、開発者の見解や意見を代表するものではありません。

1. 厳格なフィルタリングを行っているにもかかわらず、LLMの制御不能性のため、当社のモデルは依然として有毒、有害、不適切な内容を生成する可能性があります。
2. モデルパラメータの制限により、9Bモデルは数学的なタスク、コーディングタスク、論理能力において性能が低い場合があります。
3. トレーニングデータの最大長は8kに制限されているため、過度に長い会話ターンは応答の品質を低下させる可能性があります。
4. トレーニングには中国語と英語のバイリンガルデータを使用しているため、他の低リソース言語での性能は低い場合があります。
5. モデルは大量の幻覚を生成する可能性があるため、temperatureとtop_pパラメータには低い値を使用することをお勧めします。

📞 お問い合わせ

微信 / WeChat: Fungorum

メール / E-mail: 1070193753@qq.com

FlowGPTのサポートに感謝いたします。FlowGPTは、AIの力を活用してさまざまな創造的および専門的なタスクを合理化するダイナミックなツールです。

📄 ライセンス

MITライセンスの下で提供されています。