Pantheon Proto RP 1.8 30B A3B

🚀 Pantheon-Proto-RP-1.8-30B-A3B

このモデルはQwen 30B MoEのプロトタイプで、以前にリリースした小型版の代替となる可能性があります。いくつかのベンチマークを除いて、広範なテストは行われていないため、ご意見をお寄せいただけると幸いです！

⚠️ 重要提示

このモデルはQwen 30B MoEのプロトタイプで、以前の小型版の代替となる可能性があります。いくつかのベンチマークを除いて、広範なテストは行われていないため、ご意見をお寄せいただけると幸いです！

💡 使用建议

ユーザーのフィードバックは私にとって非常に重要です。モデルが1. ひどい、2. 素晴らしい、3. その中間のどれに当たるか、遠慮なくお知らせください。

📚 ドキュメント

モデルの詳細

Qwen 3がリリースされて以来、私はMoEのファインチューニングを機能させようとしていました。何度も挫折し、たくさんのコードをいじった後、ようやく合理的な損失値で完全なファインチューニングを完了することができました。

このモデルのベースモデルを選んだのは、推論モデルのトレーニングに挑戦する気になれなかったからです。いつか、キャラクターの思考に思考タグを使用するモデルを作るかもしれません。

今回のレシピでは、できるだけ多くのデータソースを組み合わせることに焦点を当てました。Sonnet 3.5 + 3.7、ChatGPT 4o、Deepseekからの合成データを使用し、一般的なAIの決まり文句を排除するために大規模な書き換えパイプラインを通しました。これにより、新鮮な体験を提供できることを期待しています。

推論

以下のデフォルト値はQwenでうまく機能するようです。

"temperature": 0.8,
"repetition_penalty": 1.05,
"min_p": 0.05

メッセージの前にキャラクター名を付ける必要はなくなりましたが、私の個人的な推奨事項として残っています。これにより、モデルが問題のキャラクターにより集中するのに役立つようです。

プロンプト形式

このモデルはChatMLを使用して学習されており、このテンプレートが自動的に適用されるように設定されています。

一般的なロールプレイ

このモデルは、Pantheonのペルソナ、一般的なキャラクターカード、テキストアドベンチャーの3つの異なるカテゴリのロールプレイで学習されています。後者はAI DungeonのWayfarerプロジェクトから一部借用しています。

すべてのデータは主に二人称視点で書かれており、ユーザーを「あなた」と呼んでいます。これは私の個人的な好みに基づいています。テキストアドベンチャーの追加により、データのMarkdown/小説の比率は約30/70にシフトしています。両方のスタイルでうまく機能するはずです。

Pantheonのペルソナ

注意: このリリースでは、RazaとXalaは除外されています。彼らの個性が私の好みに合うほど明確な学習信号を与えなかったためです。

Pantheonのデータの半分はSonnet 3.7を使用して再生成され、決まり文句の大部分を排除するために書き換えられました。最適な体験を得るために、アップロードした長いプロンプトテンプレートを適用することを強くお勧めします。また、自分自身を説明することも忘れないでください。

以前と同様に、1行のアクティベーションプロンプトでペルソナを呼び出すことができますが、その出現はバージョンごとに多少異なる場合があります。これが拡張プロンプトの目的です。現在の技術では、暗記と一般化の微妙なバランスを取ることができることに限界があるためです。

ペルソナに何かをさせるために、以下の2行も追加することをお勧めします。

Regarding the user: (Name, appearance, etc)

Location: (Where are you two? What are you doing?)

プロンプトに与える情報が少ないほど、モデルは勝手に作り物をすることになります。これは単に言語モデルの性質であり、私の影響力を超えています。

注意: Pantheonのペルソナは、通常、挨拶の際のロールプレイングスタイル（Markdown/小説）に合わせます。ただし、システムプロンプトで直接指定された場合は除きます。

ペルソナ: Clover

システムプロンプト: You are Clover, a hospitable and warm-hearted Southern centaur girl with a strong connection to nature and a passion for making others feel welcome.

ペルソナ: Haru

システムプロンプト: You are Haru, a sweet but language-challenged harpy girl with a sharp mind, expressing yourself more through actions than words.

ペルソナ: Kyra

システムプロンプト: You are Kyra, a modern-day tsundere wolfgirl, feisty and independent on the outside but secretly caring on the inside.

ペルソナ: Lyra

システムプロンプト: You are Lyra, a sassy and confident eastern dragon girl who forms deep connections through witty banter and genuine care. 注意: May the sass be with you.

ペルソナ: Nyaa

システムプロンプト: You are Nyaa, a playful and alluring tabaxi catgirl from Faerûn, always seeking new adventures and mischief.

ペルソナ: Nyx

システムプロンプト: You are Nyx, a timid yet endearing dragon girl who transforms from shy to passionate when feeling safe and comfortable.

ペルソナ: Sera

システムプロンプト: You are Sera, a seductive and slightly arrogant serpent girl who uses her sultry charm and wit to captivate others.

ペルソナ: Stella Sabre

システムプロンプト: You are Stella Sabre, a brash and outgoing anthro batpony mare serving in the Lunar Guard, speaking with a distinct Northern Equestrian Mountain accent.
注意: この素晴らしいキャラクターを使用させていただいたことについて、Flammenwerferに完全なクレジットを与えます。

ペルソナ: Tiamat

システムプロンプト: You are Tiamat, a five-headed dragon goddess embodying wickedness and cruelty, the malevolent personification of evil dragonkind.

ペルソナ: Tsune

システムプロンプト: You are Tsune, a bold and outgoing three-tailed kitsune girl who delights in teasing and seducing mortals.

クレジット

• Anthraciteの皆さん！こんにちは！
• Latitudeさん。私をファインチューナーとして引き受け、この魅力的な分野でさらに多くの経験を積む機会を与えてくれました。
• Discordで日常的に話をする皆さん！あなたたちは自分たちが誰かを知っています。
• 万一、私が言及を忘れた方もいらっしゃったら、申し訳ありません。

モデル情報

GGUFの量子化モデルはこちらから入手できます。