Openthinker3 7B GGUF

🚀 QuantFactory/OpenThinker3-7B-GGUF

這是使用 llama.cpp 創建的 open-thoughts/OpenThinker3-7B 的量化版本。本項目為推理模型提供了高效且優化的解決方案，在推理性能上有著顯著提升。

🚀 快速開始

本項目是 open-thoughts/OpenThinker3-7B 的量化版本。以下是關於該模型的詳細信息。

✨ 主要特性

• 強大推理能力：在多個評估指標上表現出色，超越了多個同類7B模型。
• 豐富數據集訓練：基於 OpenThoughts3-1.2M 數據集進行訓練，包含850,000個數學問題、250,000個代碼問題和100,000個科學問題。
• 高效訓練：使用512個A100節點進行了48小時的訓練。

📚 詳細文檔

原模型卡片

論文 | 數據集 | 模型

⚠️ 重要提示

我們已經發布了關於 OpenThoughts 的論文！請查看我們的 論文。

OpenThinker3-7B

這是一個最先進的開放數據7B推理模型。該模型是 Qwen/Qwen2.5-7B-Instruct 在 OpenThoughts3-1.2M 數據集上的微調版本。與我們之前的模型 OpenThinker-7B 和 OpenThinker2-7B 相比，它有顯著的改進。儘管只使用了SFT進行訓練，沒有使用任何RL，但它在性能上超過了其他幾個強大的7B推理模型，如 DeepSeek-R1-Distill-Qwen-7B 和 Llama-3.1-Nemotron-Nano-8B-v1。

這次，我們還發布了一篇論文！更多詳情請查看我們的 論文 和 博客文章。後續還會推出 OpenThinker3-32B！

評估結果

下表中的數據是使用我們的開源工具 Evalchemy 進行評估的。在下表中，我們將每列中與最佳值相差在2個標準差以內的值加粗顯示。

數據

該模型基於 OpenThoughts3-1.2M 數據集進行訓練。模型強大性能的關鍵在於我們全面的數據管道和1000多個消融實驗。這促成了 OpenThoughts3-1.2M 數據集的創建，該數據集包含850,000個數學問題、250,000個代碼問題和100,000個科學問題。推理軌跡是使用 QwQ - 32B 生成的。

更多信息請查看 OpenThoughts3-1.2M 數據集頁面或我們的 論文。

預期用途和限制

本模型採用 Apache 2.0 許可證。

訓練過程

我們使用512個A100節點對模型進行了48小時的訓練。

訓練超參數

訓練過程中使用了以下超參數：

• 學習率：8e - 05
• 隨機種子：42
• 分佈式類型：多GPU
• 設備數量：512
• 梯度累積步數：1
• 總訓練批次大小：512
• 優化器：使用 OptimizerNames.ADAMW_TORCH，β值為(0.9, 0.999)，ε值為1e - 08，無額外優化器參數
• 學習率調度器類型：餘弦
• 學習率調度器預熱比例：0.1
• 訓練輪數：5.0
• 權重衰減：0.0

框架版本

• Transformers 4.46.1
• Pytorch 2.3.0
• Datasets 3.1.0
• Tokenizers 0.20.3

更多信息可在我們的倉庫中找到：https://github.com/open-thoughts/open-thoughts。

鏈接

• OpenThoughts 論文
• OpenThoughts3-1.2M 和 OpenThinker3-7B 博客文章
• Open Thoughts GitHub 倉庫
• OpenThoughts3-1.2M 數據集
• OpenThinker3-7B 模型 - 本模型

引用

@misc{guha2025openthoughtsdatarecipesreasoning,
  title={OpenThoughts: Data Recipes for Reasoning Models}, 
  author={Etash Guha and Ryan Marten and Sedrick Keh and Negin Raoof and Georgios Smyrnis and Hritik Bansal and Marianna Nezhurina and Jean Mercat and Trung Vu and Zayne Sprague and Ashima Suvarna and Benjamin Feuer and Liangyu Chen and Zaid Khan and Eric Frankel and Sachin Grover and Caroline Choi and Niklas Muennighoff and Shiye Su and Wanjia Zhao and John Yang and Shreyas Pimpalgaonkar and Kartik Sharma and Charlie Cheng-Jie Ji and Yichuan Deng and Sarah Pratt and Vivek Ramanujan and Jon Saad-Falcon and Jeffrey Li and Achal Dave and Alon Albalak and Kushal Arora and Blake Wulfe and Chinmay Hegde and Greg Durrett and Sewoong Oh and Mohit Bansal and Saadia Gabriel and Aditya Grover and Kai-Wei Chang and Vaishaal Shankar and Aaron Gokaslan and Mike A. Merrill and Tatsunori Hashimoto and Yejin Choi and Jenia Jitsev and Reinhard Heckel and Maheswaran Sathiamoorthy and Alexandros G. Dimakis and Ludwig Schmidt},
  year={2025},
  eprint={2506.04178},
  archivePrefix={arXiv},
  primaryClass={cs.LG},
  url={https://arxiv.org/abs/2506.04178}, 
}

📄 許可證

本項目採用 Apache 2.0 許可證。