Xfinder Llama38it

🚀 xFinder-llama38it

xFinder-llama38itは、大規模言語モデル（LLM）におけるキーアンサー抽出を目的として設計されたモデルです。このモデルは、Llama3-8B-Instructをファインチューニングすることで訓練されており、LLMの評価を効果的に向上させることができます。

✨ 主な機能

xFinderは、大規模言語モデル（LLM）の出力からキーアンサーを正確に抽出することで、LLMの評価を向上させることを主な目的としています。これは、従来の正規表現（RegEx）ベースの抽出方法の限界を克服し、LLMが生成する多様で複雑な出力をうまく処理することができます。これにより、さまざまなタスクにおけるモデル評価の信頼性が向上します。

📦 インストール

READMEにインストール手順が記載されていないため、このセクションは省略されます。

📚 ドキュメント

モデルの詳細

xFinder-llama38itは、大規模言語モデル（LLM）におけるキーアンサー抽出を目的として設計されたモデルです。Llama3-8B-Instructをファインチューニングすることで訓練されています。

• 開発元: IAAR
• ファインチューニング元のモデル: Llama3-8B-Instruct

モデルのソース

• リポジトリ: https://github.com/IAAR-Shanghai/xFinder
• 論文: https://openreview.net/forum?id=7UqQJUKaLM

訓練の詳細

xFinder-llama38itは、Llama3-8B-Instructをファインチューニングして作成されています。訓練データは、Key Answer Finder（KAF）データセットから約26.9Kのサンプルで構成されています。このデータセットは、キーアンサー抽出の精度と堅牢性を向上させるために設計されており、さまざまなタスクが含まれています。GPT-4と人間の専門家によって細心の注意を払ってアノテーションが付けられており、高品質な訓練と評価が保証されています。詳細については、この論文を参照し、コードを試してみてください。

評価

xFinderは、KAFデータセットの完全に人間によってアノテーションが付けられたテストセットと汎化セットで評価されています。結果は、従来の方法と比較して、抽出精度と堅牢性が大幅に向上していることを示しています。詳細については、論文を参照し、提供されているコードを使って試してみてください。

引用

@inproceedings{
    xFinder,
    title={xFinder: Large Language Models as Automated Evaluators for Reliable Evaluation},
    author={Qingchen Yu and Zifan Zheng and Shichao Song and Zhiyu li and Feiyu Xiong and Bo Tang and Ding Chen},
    booktitle={The Thirteenth International Conference on Learning Representations},
    year={2025},
    url={https://openreview.net/forum?id=7UqQJUKaLM}
}

📄 ライセンス

このモデルは、CC BY-NC-ND 4.0ライセンスの下で提供されています。