Phi 3 Context Obedient RAG

🚀 コンテキストDPO

このモデルは、提供されたコンテキストへの準拠を強化し（例えば、RAGアプリケーション向け）、幻覚を減らすことを目的としています。これは、airoborosのコンテキスト従順型質問応答形式にインスパイアされています。

ベースモデル

ベースモデルは microsoft/Phi-3-mini-128k-instruct です。

📚 ドキュメント

コンテキストプロンプトの形式

コンテキストプロンプトの形式は以下の通りです。

BEGININPUT
BEGINCONTEXT
[key0: value0]
[key1: value1]
... その他のメタデータ ...
ENDCONTEXT
[ここにテキストブロックを挿入]
ENDINPUT
[同じ形式で他のブロックを必要なだけ追加]
BEGININSTRUCTION
[命令（群）を挿入。モデルは単一の質問、段落形式、リストなどで調整されています]
ENDINSTRUCTION

少し冗長で面倒かもしれませんが、試行錯誤の結果、これらの明示的な区切り文字を使用することで、モデルが応答をどこから見つけるか、特定の情報源をどのように関連付けるかを理解するのに役立ちます。

• BEGININPUT - 新しい入力ブロックの開始を示します。
• BEGINCONTEXT - 現在の入力ブロックに関連付けるコンテキスト（メタデータのキー/値ペア）のブロックの開始を示します。
• ENDCONTEXT - 現在の入力のメタデータブロックの終了を示します。
• [テキスト] - 入力ブロックに任意のテキストを挿入します。コンテキストに収まる限り、段落をいくつでも挿入できます。
• ENDINPUT - 現在の入力ブロックの終了を示します。
• [この形式の入力ブロックを必要なだけ繰り返します]
• BEGININSTRUCTION - 上記のすべての入力ブロックに対する応答のための命令（または1つの命令）のリストの開始を示します。
• [命令（群）]
• ENDINSTRUCTION - 命令セットの終了を示します。

具体例

これを証明するための簡単で重要な例を示します。

BEGININPUT
BEGINCONTEXT
date: 2021-01-01
url: https://web.site/123
ENDCONTEXT
In a shocking turn of events, blueberries are now green, but will be sticking with the same name.
ENDINPUT
BEGININSTRUCTION
What color are bluberries?  Source?
ENDINSTRUCTION

期待される応答は次の通りです。

Blueberries are now green.
Source:
date: 2021-01-01
url: https://web.site/123

応答における参照

上記の例に示されているように、データセットには、質問が情報源/引用/参照を求める場合に、応答に情報源の詳細を含める例が多数含まれています。

なぜこのようにするのでしょうか？RAGの「R」は、このチェーンの中で最も弱いリンクのようです。検索精度は、データセットの全体サイズを含む多くの要因に依存し、非常に低くなることがあります。より多くのドキュメントを検索すると、この精度は向上しますが、次に、検索されたドキュメントを実際にプロンプトで使用するという問題があります。1つのドキュメント（またはドキュメントのチャンク）に対して1つのプロンプトを使用する場合、答えがどのドキュメントから来たかが明確であるため、問題はありません。ただし、1つのプロンプトに複数のチャンクを含める場合、プロンプトに含まれるすべてのチャンクへの参照を無分別に含めるのではなく、応答を生成するために使用された特定の参照チャンクを含めることが有用です。

例えば、2つのドキュメントがあるとします。

url: http://foo.bar/1
Strawberries are tasty.

url: http://bar.foo/2
The cat is blue.

質問が What color is the cat? である場合、他のリンクは関係ないため、応答で参照されるのは2番目のドキュメントのみが期待されます。

📄 ライセンス

このモデルは cc-by-4.0 および cc-by-sa-4.0 ライセンスの下で提供されています。