Pygmalion 2 7b

🚀 Pygmalion-2 7B

Llama-2をベースに、フィクションの執筆と会話に特化した命令調整済みモデルです。

🚀 クイックスタート

待望のLlama-2ベースの新モデルPygmalion-2 7B（旧称Metharme）がやっとリリースされました。このモデルはMeta AIによってリリースされたLlama-2 7Bをベースにしています。

✨ 主な機能

• Metharmeモデルは、会話、ロールプレイング、ストーリーライティングに使えるモデルを目指した実験的な試みで、他の命令調整モデルと同様に自然言語でガイドできます。
• このモデルは、通常の命令データとロールプレイ、架空のストーリー、合成生成された命令付きの会話データの混合物を使って教師あり微調整を行って訓練されました。
• Llama-2のライセンスに従い、商用と非商用の両方で自由に利用できます。

📚 ドキュメント

🔍 モデル詳細

待望のLlama-2ベースの新モデルのリリースが遂にやってきました。Pygmalion-2 7B（旧称Metharme）は、Meta AIによってリリースされたLlama-2 7Bをベースにしています。

Metharmeモデルは、会話、ロールプレイング、ストーリーライティングに使えるモデルを目指した実験的な試みで、他の命令調整モデルと同様に自然言語でガイドできるようにしました。熟慮の結果、Metharmeのプロンプト形式は、従来のPygmalion形式よりも優れており（使いやすくも）、この結論に至りました。

このモデルは、通常の命令データとロールプレイ、架空のストーリー、合成生成された命令付きの会話データの混合物を使って教師あり微調整を行って訓練されました。

このモデルは、Llama-2のライセンスに従い、商用と非商用の両方で自由に利用できます。

💬 プロンプトの使い方

このモデルは、<|system|>、<|user|>、<|model|>の3つの異なるロールを使ったプロンプトで訓練されています。

<|system|>プロンプトは、背景情報を注入するために使われ、<|user|>プロンプトはユーザーの入力を示すために使われます。<|model|>トークンは、モデルが応答を生成することを示すために使われます。これらのトークンは複数回使用され、会話履歴を形成するために連鎖させることができます。

プロンプトの例

システムプロンプトは、モデルが様々なモードに「入る」ことを可能にし、応答の長さを指定するように設計されています。以下に例を示します。

<|system|>Enter RP mode. Pretend to be {{char}} whose persona follows:
{{persona}}

You shall reply to the user while staying in character, and generate long responses.

📊 データセット

このモデルを微調整するために使用されたデータセットには、当社独自のPIPPAの他、いくつかの命令データセットや、さまざまなRPフォーラムから取得したデータセットが含まれています。

⚠️ 制限事項とバイアス

このモデルの意図された使用目的は、エンターテイメント目的のフィクションライティングです。それ以外の使用は範囲外です。

したがって、このモデルは安全で無害なように微調整されていません。ベースモデルとこの微調整モデルは、不適切な言葉や露骨な表現を含むデータで訓練されています。プロンプト自体に明らかな不快な内容が含まれていなくても、社会的に受け入れられないまたは望ましくないテキストを生成する可能性があります。出力は事実と異なるまたは誤解を招くことが多いです。

🙏 謝辞

このモデルの訓練をスポンサーしてくれたSpicyChatに感謝します。

📄 ライセンス

このモデルのライセンスはLlama2です。

📦 データセット情報