RM R1 DeepSeek Distilled Qwen 32B

🚀 RM - R1：推理獎勵模型訓練框架

RM - R1 是一個用於 推理獎勵模型（ReasRM）的訓練框架。它通過先“大聲思考”——生成評分標準或推理軌跡，然後表達偏好來評判兩個候選答案。與之前的標量或普通生成式獎勵模型相比，RM - R1 在公共獎勵模型基準測試中實現了高達 +13.8 % 的絕對準確率提升，同時提供 完全可解釋 的評判。

🚀 快速開始

模型與代碼資源

[🤖 模型與數據集] [📊 代碼] [📄 論文]

✨ 主要特性

兩階段訓練

1. 蒸餾：對約 8.7 K 個高質量推理軌跡（評分標準鏈）進行蒸餾。
2. 可驗證獎勵強化學習（RLVR）：在約 64 K 個偏好對上進行訓練。

發佈的骨幹模型

發佈了 7 B / 14 B / 32 B 的 Qwen - 2.5 - Instruct 變體 + DeepSeek 蒸餾檢查點。

📚 詳細文檔

預期用途

• 基於人類反饋的強化學習（RLHF）/基於人工智能反饋的強化學習（RLAIF）：可即插即用的獎勵函數，用於策略優化。
• 自動評估：作為大語言模型評判器，用於開放域問答、聊天和推理。
• 研究：用於研究過程監督、思維鏈驗證或評分標準生成。

📄 許可證

本項目採用 MIT 許可證。

📦 模型信息