Phi3 Rag Relevance Judge Merge

🚀 マージされたモデルの性能

このリポジトリには、私たちがマージしたRAG関連性PEFTアダプターモデルの結果が含まれています。

📊 RAG関連性分類メトリクス

私たちのマージされたモデルは、二値分類タスクで以下の性能を達成しています。

              precision    recall  f1-score   support

           0       0.74      0.77      0.75       100
           1       0.76      0.73      0.74       100

    accuracy                           0.75       200
   macro avg       0.75      0.75      0.75       200
weighted avg       0.75      0.75      0.75       200

💻 使用例

基本的な使用法

最良の結果を得るために、以下のプロンプト戦略から始めることをおすすめします（必要に応じて調整してください）。

def format_input_classification(query, text):
    input = f"""
      You are comparing a reference text to a question and trying to determine if the reference text
  contains information relevant to answering the question. Here is the data:
      [BEGIN DATA]
      ************
      [Question]: {query}
      ************
      [Reference text]: {text}
      ************
      [END DATA]
  Compare the Question above to the Reference text. You must determine whether the Reference text
  contains information that can answer the Question. Please focus on whether the very specific
  question can be answered by the information in the Reference text.
  Your response must be single word, either "relevant" or "unrelated",
  and should not contain any text or characters aside from that word.
  "unrelated" means that the reference text does not contain an answer to the Question.
  "relevant" means the reference text contains an answer to the Question."""
    return input


text = format_input_classification("What is quanitzation?",
  "Quantization is a method to reduce the memory footprint")
messages = [
    {"role": "user", "content": text}
]

pipe = pipeline(
    "text-generation",
    model=base_model,
    model_kwargs={"attn_implementation": attn_implementation, "torch_dtype": torch.float16},
    tokenizer=tokenizer,
)

⚔️ 他のモデルとの比較

私たちは、RAG Evalベンチマークにおけるマージされたモデルの性能を、他のいくつかの最先端の言語モデルと比較しました。

表に示すように、私たちのマージされたモデルは0.75の同等のスコアを達成し、他のいくつかのブラックボックスモデルを上回っています。

私たちは、様々なベンチマークやタスクでさらに良い性能を達成するために、マージされたモデルの改善と微調整を続けます。

引用

[1] https://docs.arize.com/phoenix/evaluation/how-to-evals/running-pre-tested-evals/retrieval-rag-relevance