Lettucedect Large Modernbert En V1

🚀 LettuceDetect: 幻覚検出モデル

LettuceDetectは、Retrieval-Augmented Generation (RAG) アプリケーション向けに設計された、コンテキストと回答のペアに対する幻覚検出用のトランスフォーマーベースのモデルです。長文の文書を処理し、回答がコンテキストによってサポートされているかどうかを正確に判断するタスクに最適です。

モデル名: lettucedect-large-modernbert-en-v1
組織: KRLabsOrg
Github: https://github.com/KRLabsOrg/LettuceDetect

✨ 主な機能

LettuceDetectは、コンテキストと回答のペアに対する幻覚検出を行うトランスフォーマーベースのモデルです。このモデルは、拡張コンテキストサポート（最大 8192トークン）を持つ ModernBERT をベースに構築されています。この長文コンテキスト機能は、詳細で広範な文書を処理して回答が与えられたコンテキストによってサポートされているかどうかを正確に判断するタスクに不可欠です。

これは、ModernBERT-largeに基づくLargeモデルです

📚 ドキュメント

モデルの詳細

仕組み

このモデルは、与えられたコンテキストでサポートされていない回答テキスト内のトークンを識別するように学習されています。推論時には、モデルはトークンレベルの予測を返し、それがスパンに集約されます。これにより、ユーザーは回答のどの部分が幻覚と見なされるかを正確に確認できます。

📦 インストール

pip install lettucedetect

💻 使用例

基本的な使用法

from lettucedetect.models.inference import HallucinationDetector

# For a transformer-based approach:
detector = HallucinationDetector(
    method="transformer", model_path="KRLabsOrg/lettucedect-base-modernbert-en-v1"
)

contexts = ["France is a country in Europe. The capital of France is Paris. The population of France is 67 million.",]
question = "What is the capital of France? What is the population of France?"
answer = "The capital of France is Paris. The population of France is 69 million."

# Get span-level predictions indicating which parts of the answer are considered hallucinated.
predictions = detector.predict(context=contexts, question=question, answer=answer, output_format="spans")
print("Predictions:", predictions)

# Predictions: [{'start': 31, 'end': 71, 'confidence': 0.9944414496421814, 'text': ' The population of France is 69 million.'}]

📚 詳細ドキュメント

性能

サンプルレベルの結果

私たちは、RAGTruth データセットのテストセットでモデルを評価しました。私たちの大規模モデル lettucedetect-large-v1 は、全体的なF1スコア79.22%を達成し、GPT-4 (63.4%) などのプロンプトベースの手法や Luna (65.4%) などのエンコーダベースのモデルを上回っています。また、微調整されたLLAMA-2-13B (78.7%) (RAGTruth で提示) を上回り、SOTAの微調整されたLLAMA-3-8B (83.9%) (RAG-HAT論文 で提示) と競争力があります。全体的に、lettucedetect-large-v1 と lettucedect-base-v1 は非常に高性能なモデルであり、推論設定でも非常に効果的です。

スパンレベルの結果

スパンレベルでは、私たちのモデルはすべてのデータタイプで最高のスコアを達成し、以前のモデルを大きく上回っています。結果は以下の表に示されています。なお、RAG-HAT などのモデルはスパンレベルの評価が提示されていないため、比較対象には含まれていません。

引用

もしあなたがこのモデルやツールを使用する場合は、以下の論文を引用してください。

@misc{Kovacs:2025,
      title={LettuceDetect: A Hallucination Detection Framework for RAG Applications}, 
      author={Ádám Kovács and Gábor Recski},
      year={2025},
      eprint={2502.17125},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2502.17125}, 
}

📄 ライセンス

このプロジェクトはMITライセンスの下で公開されています。