Metharme 1.3b

🚀 Metharme 1.3B

EleutherAIのPythia 1.4Bをベースに、フィクションの執筆や会話に特化して調整されたモデルです。

🚀 クイックスタート

Metharme 1.3Bは、会話、ロールプレイング、ストーリーライティングに役立つモデルで、他の指示型モデルと同様に自然言語でガイドすることができます。以下のセクションで具体的な使い方を説明します。

✨ 主な機能

• 会話、ロールプレイング、ストーリーライティングに特化した指示型モデルです。
• 自然言語によるガイドが可能で、柔軟に対応できます。

📚 ドキュメント

🔍 モデルの詳細

Metharme 1.3Bは、EleutherAIのPythia 1.4B Dedupedをベースにした指示型モデルです。このモデルは、会話、ロールプレイング、ストーリーライティングに使用でき、他の指示型モデルと同様に自然言語でガイドすることができます。具体的な例は、以下のプロンプトの使用方法セクションを参照してください。

このモデルは、通常の指示データと、ロールプレイ、フィクションの物語、合成生成された指示を付けた会話の混合データを使って、教師あり微調整を行って学習されました。

💬 プロンプトの使用方法

現在のモデルバージョンは、<|system|>、<|user|>、<|model|>という3つの異なるロールを使ったプロンプトで学習されています。

<|system|>プロンプトは、背景情報を注入するために使用できます。<|user|>プロンプトは、ユーザーの入力を示すために使用します。<|model|>トークンは、モデルが応答を生成することを示すために使用します。これらのトークンは複数回使用でき、会話履歴を形成するために連鎖させることができます。

プロンプトの使用例

具体的な例を挙げましょう。以下のシステムプロンプトがあるとします。

これはテキストアドベンチャーゲームです。ユーザーにシナリオを説明し、各ターンで3つの選択肢を提示してください。

そして、ユーザーが以下のメッセージを入力しました。

開始！

モデルに推論を行わせるために、プロンプトは次のようにフォーマットする必要があります。

<|system|>これはテキストアドベンチャーゲームです。ユーザーにシナリオを説明し、各ターンで3つの選択肢を提示してください。<|user|>開始！<|model|>

モデルは次のような出力を生成するかもしれません。

あなたは古くて廃屋になった家の前に立っています。窓は板で塞がれており、周りには生命の兆しがありません。近づくと、中から奇妙な感じが漂ってきます。突然、声があなたに呼びかけているのが聞こえます...「中に入ってきて！」

• 家の中に入る。
• 呼びかけを無視して立ち去る。
• できるだけ早く逃げる。

モデルは、応答が完了したと判断すると、自動的にテキスト終了トークン (<|endoftext|>) を出力します。

ユーザーが家の中に入ると返答したと仮定しましょう。次のプロンプトは次のようになります。

<|system|>これはテキストアドベンチャーゲームです。ユーザーにシナリオを説明し、各ターンで3つの選択肢を提示してください。<|user|>開始！<|model|>あなたは古くて廃屋になった家の前に立っています。窓は板で塞がれており、周りには生命の兆しがありません。近づくと、中から奇妙な感じが漂ってきます。突然、声があなたに呼びかけているのが聞こえます...「中に入ってきて！」
>
> - 家の中に入る。
> - 呼びかけを無視して立ち去る。
> - できるだけ早く逃げる。<|user|>家の中に入る<|model|>

これに対して、モデルは次のような出力を生成するかもしれません。

あなたは家の中に入り、すぐに不安なエネルギーの波が押し寄せます。あなたの感覚は鋭くなっているようですが、頭の中は霧のようになっています。あなたの前に一人の男が現れます - 鋭い目をした背の高い男です。彼はあなたに理解できない言葉で話しかけます。

• 彼が何を望んでいるのか尋ねる。
• 彼を攻撃する。
• 逃げる。

同じプロセスが適用されます。通常、ユーザーとモデルのターンに対してスライディングウィンドウを使用するのが最善ですが、システムプロンプトはコンテキストウィンドウの先頭に固定しておく必要があります。

📊 評価指標

このモデルは、EleutherAIのlm-evaluation-harnessテストスイートを使用して評価されました。以下のタスクで評価されました。

Metharme-1.3Bのベンチマークでのパフォーマンスを、Pygmalion-6B、Metharme-7B、およびRedPajama-INCITE-Chat-3B-v1と比較した図です。

⚠️ 制限とバイアス

Metharme 7Bや13Bよりも小さいモデルであるため、出力の首尾一貫性が低下する可能性があります。

このモデルの主な用途は、エンターテイメント目的のフィクションライティングです。それ以外の用途は想定外です。

このモデルは、安全で無害な出力を生成するように微調整されていません。ベースモデルとこの微調整モデルは、不適切な言葉や露骨な表現を含むデータで学習されています。したがって、プロンプト自体に明らかな攻撃的な内容が含まれていなくても、社会的に受け入れられないまたは望ましくないテキストを生成する可能性があります。また、出力は事実に基づいていないまたは誤解を招くものになることが多いです。

📄 ライセンス

このモデルは、Apache-2.0ライセンスの下で提供されています。