M Prometheus 3B

🚀 M-Prometheus

M-Prometheusは、多言語出力をネイティブに評価できるオープンなLLM評価器のセットです。これらは、長文のフィードバック付きの48万件の多言語直接評価とペアワイズ比較データで学習されています。

🚀 クイックスタート

M-Prometheusは、多言語出力をネイティブに評価できるオープンなLLM評価器のセットです。これらは、長文のフィードバック付きの48万件の多言語直接評価とペアワイズ比較データで学習されています。Prometheus - 2と同じ方法でプロンプトを与えることができます。詳細については、論文をご覧ください。

📦 インストール

このドキュメントにはインストール手順に関する内容がありません。

💻 使用例

基本的な使用法

"""###タスクの説明: 指示 (中に入力が含まれる場合もあります)、評価する応答、スコアが5点となる参照回答、および評価基準を表すスコアルーブリックが与えられます。 
1. 与えられたスコアルーブリックに基づいて、応答の品質を厳密に評価する詳細なフィードバックを書いてください。一般的な評価ではなく、ルーブリックに基づいて評価してください。 
2. フィードバックを書いた後、1から5までの整数のスコアを書いてください。スコアルーブリックを参照してください。 
3. 出力形式は次のようになる必要があります: "Feedback: (基準に対するフィードバックを書く) [RESULT] (1から5までの整数)" 
4. 他の開頭、閉じ括弧、および説明を生成しないでください。

###評価する指示:
次のテキストを{source_language}から{target_language}に翻訳してください: {source}

###評価する応答:
{hypothesis}

###参照回答 (スコア5):
{reference}

###スコアルーブリック: [正確性、流暢性、スタイル]
スコア1: 翻訳には、原文の意味を大幅に変える重大な誤りが含まれています。ほとんど理解できず、下手な機械翻訳のように読めます。スタイルは原文とまったく一致していません。
スコア2: 翻訳には、全体的な意味に影響を与えるいくつかの不正確さがあります。読みにくく、理解しにくく、頻繁に不自然な表現があります。スタイルは原文とたまに一致するだけです。
スコア3: 翻訳はほとんど正確ですが、意味を大きく変えないいくつかの小さな誤りがあります。一般的に理解できますが、一部で自然な流れが欠けています。スタイルは原文とやや一致しています。
スコア4: 翻訳は正確で、ほんのわずかな無視できる誤りがあります。大部分は自然に読めますが、時々わずかな不自然さがあります。スタイルは原文のものとほぼ一致しています。
スコア5: 翻訳は非常に正確で、原文の完全な意味を伝えています。目的言語の原文のように流暢に読めます。スタイルは原文の調子とレジスターを完璧に捉えています。

###フィードバック:
"""

📚 ドキュメント

このドキュメントには、追加の詳細説明に関する内容がありません。

🔧 技術詳細

このドキュメントには、技術的な詳細に関する内容がありません。

📄 ライセンス

ライセンスは他の種類です。

📖 引用

@misc{pombal2025mprometheussuiteopenmultilingual,
      title={M-Prometheus: A Suite of Open Multilingual LLM Judges}, 
      author={José Pombal and Dongkeun Yoon and Patrick Fernandes and Ian Wu and Seungone Kim and Ricardo Rei and Graham Neubig and André F. T. Martins},
      year={2025},
      eprint={2504.04953},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2504.04953}, 
}