RM R1 Qwen2.5 Instruct 7B

🚀 RM - R1：推理獎勵模型訓練框架

RM - R1 是一個用於推理獎勵模型（ReasRM）的訓練框架。它通過先“大聲思考”——生成評分標準或推理軌跡，然後表達偏好，來評判兩個候選答案。與之前的標量或普通生成式獎勵模型相比，RM - R1 在公共獎勵模型基準測試中實現了高達 +13.8 % 的絕對準確率提升，同時提供完全可解釋的評判。

🚀 快速開始

核心要點

• 兩階段訓練
  1. 蒸餾：對約 8.7 K 高質量推理軌跡（評分標準鏈）進行蒸餾。
  2. 可驗證獎勵強化學習（RLVR）：在約 64 K 偏好對上進行訓練。
• 已發佈的骨幹模型：7 B / 14 B / 32 B Qwen - 2.5 - Instruct 變體 + DeepSeek 蒸餾檢查點。

✨ 主要特性

預期用途

• 基於人類反饋的強化學習（RLHF）/基於人工智能反饋的強化學習（RLAIF）：可即插即用的獎勵函數，用於策略優化。
• 自動評估：作為大語言模型評判器，用於開放域問答、聊天和推理。
• 研究：用於研究過程監督、思維鏈驗證或評分標準生成。