RM R1 DeepSeek Distilled Qwen 14B

🚀 RM - R1

RM - R1は、2つの候補回答を判断するための推論報酬モデル（ReasRM）のトレーニングフレームワークです。このモデルはまず「大声で考える」（ルーブリックや推論トレースを生成）し、その後に好みを示します。従来のスカラーまたはバニラな生成型報酬モデルと比較して、RM - R1は公開されている報酬モデルベンチマークで最大**+13.8 %の絶対的な精度向上**を達成し、完全に解釈可能な批判を提供します。

[🤖 モデルとデータセット] [📊 コード] [📄 論文]

🚀 クイックスタート

RM - R1は、2段階のトレーニングプロセスを通じて開発された推論報酬モデルです。まず、約8.7Kの高品質な推論トレース（Chain - of - Rubrics）を蒸留し、その後、約64Kの好みのペアに対して「検証可能な報酬による強化学習」（RLVR）を行います。

✨ 主な機能

2段階トレーニング

1. 蒸留：約8.7Kの高品質な推論トレース（Chain - of - Rubrics）を蒸留します。
2. 検証可能な報酬による強化学習（RLVR）：約64Kの好みのペアに対してRLVRを行います。

公開されたバックボーン

7B / 14B / 32BのQwen - 2.5 - Instructバリアント + DeepSeek蒸留チェックポイントが公開されています。

想定される用途

• RLHF / RLAIF：ポリシー最適化のための即座に使用できる報酬関数です。
• 自動評価：オープンドメインのQA、チャット、および推論におけるLLM - as - a - judgeとして使用できます。
• 研究：プロセス監督、思考連鎖検証、またはルーブリック生成の研究に役立ちます。

📄 ライセンス

このプロジェクトはMITライセンスの下で公開されています。