RM R1 Qwen2.5 Instruct 32B

🚀 RM-R1：推理獎勵模型訓練框架

RM-R1 是一個用於“推理獎勵模型”（ReasRM）的訓練框架。它通過先“大聲思考”——生成評分標準或推理軌跡，再對兩個候選答案進行評判。與之前的標量或普通生成式獎勵模型相比，RM-R1 在公共獎勵模型基準測試中實現了高達 +13.8% 的絕對準確率提升，同時還能提供完全可解釋的評判。

🚀 快速開始

RM-R1 提供了一種創新的獎勵模型訓練方式，能夠有效提升模型在多個任務中的表現。

✨ 主要特性

兩階段訓練

1. 蒸餾：對約 8.7K 高質量推理軌跡（評分標準鏈）進行蒸餾。
2. 基於可驗證獎勵的強化學習（RLVR）：在約 64K 偏好對上進行訓練。

發佈的骨幹模型

發佈了 7B / 14B / 32B 的 Qwen - 2.5 - Instruct 變體 + DeepSeek 蒸餾檢查點。

📚 詳細文檔

預期用途

• 基於人類反饋的強化學習（RLHF）/基於人工智能反饋的強化學習（RLAIF）：可作為即插即用的獎勵函數用於策略優化。
• 自動評估：可作為大語言模型評判器用於開放域問答、聊天和推理任務。
• 研究：可用於研究過程監督、思維鏈驗證或評分標準生成。

📄 許可證

本項目採用 MIT 許可證。

模型信息