M Prometheus 3B

🚀 M-Prometheus

M-Prometheus是一套開放的大語言模型評估器，能夠原生評估多語言輸出。它們基於480k個多語言直接評估和成對比較實例數據進行訓練，並帶有詳細的反饋信息。可以像使用Prometheus - 2一樣對其進行提示。更多詳細信息請查看我們的論文。

🚀 快速開始

M-Prometheus可像Prometheus - 2一樣進行提示。

💻 使用示例

基礎用法

對於直接評估機器翻譯（MT）評估，我們使用以下提示：

"""###任務描述：給定一條指令（可能包含輸入內容）、一個待評估的回覆、一個得分為5分的參考答案，以及一個代表評估標準的評分規則。
1. 嚴格根據給定的評分規則，對回覆的質量進行詳細反饋，而非進行一般性評估。
2. 寫完反饋後，給出一個1到5之間的整數分數。你應該參考評分規則。
3. 輸出格式應如下所示：“反饋：（針對標準寫出反饋）[結果]（1到5之間的整數）”
4. 請不要生成任何其他開頭、結尾和解釋內容。

###待評估的指令：
將以下文本從{源語言}翻譯成{目標語言}：{源文本}

###待評估的回覆：
{假設譯文}

###參考答案（5分）：
{參考譯文}

###評分規則：[準確性、流暢性、風格]
1分：譯文包含重大錯誤，顯著改變了源文本的意思。幾乎無法理解，讀起來像糟糕的機器翻譯。風格與源文本完全不一致。
2分：譯文有幾處不準確的地方，影響了整體意思。難以閱讀和理解，常有生硬的表述。風格僅偶爾與源文本匹配。
3分：譯文基本準確，但有一些不顯著影響意思的小錯誤。大體上可以理解，但部分內容缺乏自然流暢性。風格與源文本有一定一致性。
4分：譯文準確，只有一些可忽略的小錯誤。大部分內容讀起來自然，偶爾有輕微的生硬感。風格與源文本基本匹配。
5分：譯文高度準確，傳達了源文本的完整意思。讀起來像目標語言的原文一樣流暢。風格完美捕捉了源文本的語氣和語域。

###反饋：
"""

📄 許可證

許可證類型：其他

📚 詳細文檔

📚 引用

@misc{pombal2025mprometheussuiteopenmultilingual,
      title={M-Prometheus: A Suite of Open Multilingual LLM Judges}, 
      author={José Pombal and Dongkeun Yoon and Patrick Fernandes and Ian Wu and Seungone Kim and Ricardo Rei and Graham Neubig and André F. T. Martins},
      year={2025},
      eprint={2504.04953},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2504.04953}, 
}