RM R1 Qwen2.5 Instruct 14B

🚀 RM-R1：獎勵建模推理框架

RM-R1是一個用於推理獎勵模型（ReasRM）的訓練框架，它通過先大聲思考（即生成評分標準或推理過程），然後給出偏好，來判斷兩個候選答案。與之前的標量或普通生成式獎勵模型相比，RM-R1在公共獎勵模型基準測試中實現了高達**+13.8%的絕對準確率提升**，同時提供完全可解釋的評價。

🚀 快速開始

RM-R1是一個用於推理獎勵模型（ReasRM）的訓練框架，它通過先大聲思考（生成評分標準或推理過程），然後給出偏好，來判斷兩個候選答案。與之前的標量或普通生成式獎勵模型相比，RM-R1在公共獎勵模型基準測試中實現了高達**+13.8%的絕對準確率提升**，同時提供完全可解釋的評價。

✨ 主要特性

兩階段訓練

1. 蒸餾：對約8.7K高質量推理過程（評分標準鏈）進行蒸餾。
2. 基於可驗證獎勵的強化學習（RLVR）：在約64K偏好對上進行訓練。

已發佈的骨幹模型

7B / 14B / 32B的Qwen - 2.5 - Instruct變體 + DeepSeek蒸餾後的檢查點。

📚 詳細文檔

預期用途

• 基於人類反饋的強化學習（RLHF）/基於AI反饋的強化學習（RLAIF）：可即插即用的獎勵函數，用於策略優化。
• 自動評估：作為大語言模型評判器，用於開放域問答、對話和推理任務。
• 研究：用於研究過程監督、思維鏈驗證或評分標準生成。