Xfinder Qwen1505

🚀 xFinder-qwen1505

xFinder-qwen1505は、大規模言語モデル（LLM）におけるキー回答抽出のために特別に設計されたモデルです。Qwen-1.5-0.5Bをファインチューニングすることで訓練されています。

✨ 主な機能

xFinderは、LLMの出力からキー回答を正確に抽出することで、LLMの評価を強化するために主に使用されます。従来の正規表現（RegEx）ベースの抽出方法では扱いにくい、LLMが生成する多様で複雑な出力に対応できます。これにより、様々なタスクにおけるモデル評価の信頼性が向上します。

📦 モデル詳細

📚 モデルソース

• リポジトリ: https://github.com/IAAR-Shanghai/xFinder
• 論文: https://openreview.net/forum?id=7UqQJUKaLM

🔧 訓練詳細

xFinder-qwen1505はQwen-1.5-0.5Bをファインチューニングしたものです。訓練データは、Key Answer Finder（KAF）データセットから約26,900個のサンプルで構成されています。このデータセットは、キー回答抽出の精度と堅牢性を高めるために設計されており、様々なタスクが含まれています。GPT-4と人間の専門家によって入念に注釈付けされており、高品質な訓練と評価が保証されています。詳細については、この論文を参照し、コードを試してみてください。

📊 評価

xFinderは、KAFデータセットの完全に人間によって注釈付けされたテストセットと汎化セットで評価されています。結果は、従来の方法と比較して、抽出精度と堅牢性が大幅に向上していることを示しています。詳細については、論文を参照し、提供されたコードを使用して試してみてください。

📄 ライセンス

このモデルはCC BY-NC-ND 4.0ライセンスの下で提供されています。

📖 引用

@inproceedings{
    xFinder,
    title={xFinder: Large Language Models as Automated Evaluators for Reliable Evaluation},
    author={Qingchen Yu and Zifan Zheng and Shichao Song and Zhiyu li and Feiyu Xiong and Bo Tang and Ding Chen},
    booktitle={The Thirteenth International Conference on Learning Representations},
    year={2025},
    url={https://openreview.net/forum?id=7UqQJUKaLM}
}