M Prometheus 14B

🚀 M-Prometheus

M-Prometheus 是一套開源的大語言模型評估器，能夠原生評估多語言輸出。它們在 480k 個多語言直接評估和成對比較實例數據上進行訓練，並帶有詳細反饋。可以像使用 Prometheus-2 一樣對其進行提示。更多詳細信息請查看我們的 論文。

🚀 快速開始

本模型可以像 Prometheus-2 一樣進行提示。

💻 使用示例

基礎用法

對於直接評估機器翻譯評估，我們使用以下提示：

"""###任務描述：給定一個指令（可能包含輸入）、一個待評估的響應、一個得分為 5 的參考答案，以及一個代表評估標準的評分規則。
1. 嚴格根據給定的評分規則評估響應的質量，撰寫詳細反饋，而非進行一般性評估。
2. 撰寫反饋後，給出一個 1 到 5 之間的整數分數。請參考評分規則。
3. 輸出格式應如下所示："反饋：（針對標準撰寫反饋）[結果]（1 到 5 之間的整數）"
4. 請不要生成任何其他開頭、結尾和解釋內容。

###待評估的指令：
將以下文本從 {源語言} 翻譯成 {目標語言}：{源文本}

###待評估的響應：
{假設譯文}

###參考答案（得分 5）：
{參考譯文}

###評分規則：[準確性、流暢性、風格]
得分 1：譯文包含嚴重錯誤，顯著改變了源文本的含義。幾乎難以理解，讀起來像糟糕的機器翻譯。風格與源文本完全不一致。
得分 2：譯文存在一些影響整體含義的不準確之處。難以閱讀和理解，常有生硬的表述。風格僅偶爾與源文本匹配。
得分 3：譯文基本準確，但存在一些不顯著改變含義的小錯誤。總體上可以理解，但部分內容缺乏自然流暢性。風格與源文本有一定一致性。
得分 4：譯文準確，僅有一些可忽略的小錯誤。大部分內容讀起來自然，偶爾有輕微的生硬感。風格與源文本基本匹配。
得分 5：譯文高度準確，傳達了源文本的完整含義。讀起來像目標語言的原文一樣流暢。風格完美捕捉了源文本的語氣和語域。

###反饋：
"""

📄 許可證

許可證類型：其他

📚 詳細文檔

📚 引用

@misc{pombal2025mprometheussuiteopenmultilingual,
      title={M-Prometheus: A Suite of Open Multilingual LLM Judges}, 
      author={José Pombal and Dongkeun Yoon and Patrick Fernandes and Ian Wu and Seungone Kim and Ricardo Rei and Graham Neubig and André F. T. Martins},
      year={2025},
      eprint={2504.04953},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2504.04953}, 
}