Pygmalion 2 13b

🚀 Pygmalion-2 13B

Llama-2をベースにした、フィクションの執筆と会話に特化した命令調整済みモデルです。

🚀 クイックスタート

このモデルは、会話、ロールプレイング、ストーリーライティングに使用でき、自然言語でガイドすることが可能です。また、Llama-2のライセンスに基づき、商用および非商用の両方で自由に使用できます。

✨ 主な機能

• Llama-2 13Bをベースにしたモデルで、フィクションの執筆と会話に特化しています。
• Metharmeのプロンプト形式を採用しており、使いやすさが向上しています。
• 通常の命令データ、ロールプレイ、架空の物語、合成生成された命令付きの会話データを混合して教師あり微調整を行っています。

📚 ドキュメント

モデルの詳細

待望のLlama-2ベースの新モデルがついにリリースされました。Pygmalion-2 13B（旧称Metharme）は、Meta AIがリリースしたLlama-2 13Bをベースにしています。

Metharmeモデルは、会話、ロールプレイング、ストーリーライティングに使用でき、他の命令モデルのように自然言語でガイドできるモデルを試すための実験でした。多くの熟考の末、Metharmeのプロンプト形式は、従来のPygmalionと比較して優れている（かつ使いやすい）という結論に達しました。

このモデルは、通常の命令データとロールプレイ、架空の物語、合成生成された命令付きの会話データを混合して教師あり微調整を行って訓練されました。

このモデルは、Llama-2のライセンスに基づき、商用および非商用の両方で自由に利用できます。

プロンプト

このモデルは、<|system|>、<|user|>、<|model|>の3つの異なるロールを使用したプロンプトで訓練されています。

<|system|>プロンプトは、背景にあるチャネル外の情報を注入するために使用でき、<|user|>プロンプトはユーザー入力を示すために使用する必要があります。その後、<|model|>トークンは、モデルが応答を生成する必要があることを示すために使用する必要があります。これらのトークンは複数回出現し、会話履歴を形成するために連鎖させることができます。

プロンプトの例

システムプロンプトは、モデルがさまざまなモードに「入る」ことを可能にし、返信の長さを決定するように設計されています。以下に例を示します。

<|system|>Enter RP mode. Pretend to be {{char}} whose persona follows:
{{persona}}

You shall reply to the user while staying in character, and generate long responses.

データセット

このモデルを微調整するために使用されるデータセットには、独自のPIPPA、他のいくつかの命令データセット、およびさまざまなRPフォーラムから取得したデータセットが含まれています。

制限事項とバイアス

このモデルの意図された使用目的は、エンターテインメント目的のためのフィクションの執筆です。他の種類の使用は範囲外です。

そのため、安全で無害になるように微調整されていません：ベースモデルとこの微調整は、不適切な言葉や下品なテキストを含むことが知られているデータで訓練されています。プロンプト自体に明示的に不快な内容が含まれていなくても、社会的に受け入れられないまたは望ましくないテキストを生成する可能性があります。出力はしばしば事実に基づいていないか、誤解を招く可能性があります。

謝辞

このモデルの訓練を支援してくれたSpicyChatに感謝します。

📄 ライセンス

このモデルは、Llama-2のライセンスに基づいています。