RM R1 Qwen2.5 Instruct 14B

🚀 RM - R1

RM - R1は、2つの候補回答を判断するための推論報酬モデル（ReasRM）のトレーニングフレームワークです。まず大声で考える（ルーブリックや推論トレースを生成する）ことで判断し、その後好みを示します。従来のスカラーまたはバニラ生成型報酬モデルと比較して、RM - R1は公開されている報酬モデルベンチマークで最大**+13.8 %の絶対精度向上**を達成し、完全に解釈可能な批判を提供します。

🚀 クイックスタート

RM - R1は、推論報酬モデルのトレーニングフレームワークで、2つの候補回答の判断を行います。このフレームワークは、公開された報酬モデルベンチマークで高い精度を達成し、解釈可能な批判を提供します。

✨ 主な機能

二段階トレーニング

1. 約8.7Kの高品質推論トレース（Chain - of - Rubrics）の蒸留。
2. 約64Kの好みのペアに対する検証可能な報酬による強化学習（RLVR）。

公開されたバックボーン

7B / 14B / 32BのQwen - 2.5 - Instructバリアント + DeepSeek蒸留チェックポイント。

想定される用途

• RLHF / RLAIF：ポリシー最適化のための即時利用可能な報酬関数。
• 自動評価：オープンドメインのQA、チャット、および推論におけるLLMによる判断。
• 研究：プロセス監督、思考連鎖検証、またはルーブリック生成の研究。

📄 ライセンス

このプロジェクトはMITライセンスの下で公開されています。