RM R1 Qwen2.5 Instruct 32B

🚀 RM - R1：推論型報酬モデルのトレーニングフレームワーク

RM - R1は、推論型報酬モデル（ReasRM）のトレーニングフレームワークです。このモデルは、2つの候補回答を判断する際に、まず「思考過程を明示的に生成」し、評価基準や推論の痕跡を生成してから、好みを示します。既存のスカラー型や単純な生成型報酬モデルと比較して、RM - R1は公開されている報酬モデルのベンチマークで最大**+13.8 %の絶対的な精度向上**を達成し、かつ完全に解釈可能な批判を提供します。

🚀 クイックスタート

RM - R1は、推論型報酬モデルのトレーニングに特化したフレームワークです。以下に、このモデルの概要と主な機能を説明します。

✨ 主な機能

• 二段階トレーニング
  1. 約8,700の高品質な推論痕跡（評価基準の連鎖）の蒸留。
  2. 約64,000の好みのペアに対する検証可能な報酬を用いた強化学習（RLVR）。
• 公開されたバックボーン：7B / 14B / 32BのQwen - 2.5 - Instructバリアント + DeepSeek蒸留チェックポイント。

📚 ドキュメント

想定される用途

• RLHF / RLAIF：ポリシー最適化のための即時利用可能な報酬関数。
• 自動評価：オープンドメインのQA、チャット、推論におけるLLMによる評価。
• 研究：プロセス監督、思考過程の検証、または評価基準の生成に関する研究。

📄 ライセンス

このプロジェクトはMITライセンスの下で公開されています。

モデル情報