Intjudge

🚀 IntJudge-8B

IntJudge-8B是一個用於評估開放式多模態生成方法的評判模型。它基於Qwen2-VL-7B-Instruct構建，採用新穎的數據管道進行訓練，與人類判斷的一致率達到82.42%，比基於GPT的評估器高出11.34%。

🚀 快速開始

安裝依賴

我們建議你使用以下命令從源代碼進行安裝，否則可能會遇到 KeyError 錯誤：

pip install git+https://github.com/huggingface/transformers

你還需要安裝 qwen-vl-utils：

pip install qwen-vl-utils

代碼使用

用於交錯式圖像文本生成的成對評估的代碼可以在 https://github.com/LanceZPF/OpenING 找到。

✨ 主要特性

• 評估能力強：IntJudge是用於評估開放式多模態生成方法的評判模型，與人類判斷的一致率達到82.42%，比基於GPT的評估器高出11.34%。
• 基於優質模型：IntJudge-8B基於Qwen2-VL-7B-Instruct構建。

📚 詳細文檔

模型介紹

我們很高興推出 IntJudge-v1，這是我們IntJudge模型的公開測試版本。IntJudge是一個用於評估開放式多模態生成方法的評判模型。我們使用OpenING的開發集來訓練提出的IntJudge。通過新穎的數據管道進行訓練，我們的IntJudge與人類判斷的一致率達到82.42%，比基於GPT的評估器高出11.34%。IntJudge-8B基於Qwen2-VL-7B-Instruct構建。

📄 許可證

本項目採用 Apache-2.0 許可證。

📚 引用

如果你覺得我們的工作有幫助，請引用以下文獻：

@misc{zhou2024GATE,
      title={GATE OpenING: A Comprehensive Benchmark for Judging Open-ended Interleaved Image-Text Generation}, 
      author={Pengfei Zhou, Xiaopeng Peng, Jiajun Song, Chuanhao Li, Zhaopan Xu, Yue Yang, Ziyao Guo, Hao Zhang, Yuqi Lin, Yefei He, Lirui Zhao, Shuo Liu, Tianhua Li, Yuxuan Xie, Xiaojun Chang, Yu Qiao, Wenqi Shao, and Kaipeng Zhang},
      year={2024},
      eprint={2411.18499},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}