Octothinker 3B Hybrid Zero

🚀 OctoThinker-3B-Hybrid-Zero

OctoThinker-3B-Hybrid-Zero是基於對訓練中期的深入研究而構建的模型，它以Llama-3家族為基礎，創建了一個適合強化學習的基礎語言模型。該模型不經過任何監督微調（SFT），直接從OctoThinker-3B-Hybrid-Base開始，使用R1-Zero風格的強化學習技術進行訓練。

📚 詳細文檔

模型信息

OctoThinker-3B-Hybrid-Base的訓練方案

OctoThinker-3B-Base系列的評估結果

請注意，我們對這些基礎語言模型採用了少樣本提示評估方法。

OctoThinker-3B-Zero系列的強化學習訓練動態

關於OctoThinker的更多信息

📄 許可證

本項目使用的許可證為llama3.2。

📚 引用

更多詳細信息請查看我們的論文。如果您使用了我們的模型、數據集或認為我們的工作有幫助，請引用以下內容：

@article{wang2025octothinker,
  title={OctoThinker: Mid-training Incentivizes Reinforcement Learning Scaling},
  author={Wang, Zengzhi and Zhou, Fan and Li, Xuefeng and Liu, Pengfei},
  year={2025},
  journal={arXiv preprint arXiv:2506.20512},
  note={Preprint}
}