Lettucedect Base Modernbert En V1

🚀 LettuceDetect: 幻覚検出モデル

LettuceDetectは、Retrieval-Augmented Generation (RAG) アプリケーション向けに設計された、コンテキストと回答のペアに対する幻覚検出用のTransformerベースのモデルです。長文書を処理して回答がコンテキストに支持されているかを正確に判断するタスクに適しています。

モデル名: lettucedect-base-modernbert-en-v1
組織: KRLabsOrg
Github: https://github.com/KRLabsOrg/LettuceDetect

🚀 クイックスタート

✨ 主な機能

LettuceDetectは、コンテキストと回答のペアに対する幻覚検出を行うTransformerベースのモデルです。このモデルはModernBERTをベースに構築されており、最大8192トークンまでの拡張コンテキストをサポートしています。この長文コンテキスト対応機能は、詳細で広範な文書を処理して回答が与えられたコンテキストに支持されているかを正確に判断するタスクにおいて重要です。

📦 インストール

'lettucedetect' リポジトリをインストールします。

pip install lettucedetect

💻 使用例

基本的な使用法

from lettucedetect.models.inference import HallucinationDetector

# For a transformer-based approach:
detector = HallucinationDetector(
    method="transformer", model_path="KRLabsOrg/lettucedect-base-modernbert-en-v1"
)

contexts = ["France is a country in Europe. The capital of France is Paris. The population of France is 67 million.",]
question = "What is the capital of France? What is the population of France?"
answer = "The capital of France is Paris. The population of France is 69 million."

# Get span-level predictions indicating which parts of the answer are considered hallucinated.
predictions = detector.predict(context=contexts, question=question, answer=answer, output_format="spans")
print("Predictions:", predictions)

# Predictions: [{'start': 31, 'end': 71, 'confidence': 0.9944414496421814, 'text': ' The population of France is 69 million.'}]

📚 ドキュメント

モデルの詳細

動作原理

このモデルは、与えられたコンテキストに支持されていない回答テキスト内のトークンを識別するように学習されています。推論時には、モデルはトークンレベルの予測を返し、これらはスパンに集約されます。これにより、ユーザーは回答のどの部分が幻覚と見なされるかを正確に確認できます。

性能

• サンプルレベルの結果：RAGTruth データセットのテストセットで評価されました。大規模モデルである lettucedetect-large-v1 は、全体的なF1スコア79.22%を達成し、GPT-4 (63.4%) や Luna (65.4%) などのプロンプトベースの手法やエンコーダーベースのモデルを上回っています。また、RAGTruth で提示された微調整済みのLLAMA-2-13B (78.7%) を上回り、RAG-HAT論文 で提示されたSOTAの微調整済みLLAMA-3-8B (83.9%) と競争力があります。

• スパンレベルの結果：スパンレベルでは、このモデルはすべてのデータタイプで最高のスコアを達成し、以前のモデルを大幅に上回っています。

📄 ライセンス

このモデルはMITライセンスの下で提供されています。

引用

もしこのモデルやツールを使用する場合は、次の論文を引用してください。

@misc{Kovacs:2025,
      title={LettuceDetect: A Hallucination Detection Framework for RAG Applications}, 
      author={Ádám Kovács and Gábor Recski},
      year={2025},
      eprint={2502.17125},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2502.17125}, 
}