Openthinker3 7B GGUF

🚀 QuantFactory/OpenThinker3-7B-GGUF

这是使用 llama.cpp 创建的 open-thoughts/OpenThinker3-7B 的量化版本。本项目为推理模型提供了高效且优化的解决方案，在推理性能上有着显著提升。

🚀 快速开始

本项目是 open-thoughts/OpenThinker3-7B 的量化版本。以下是关于该模型的详细信息。

✨ 主要特性

• 强大推理能力：在多个评估指标上表现出色，超越了多个同类7B模型。
• 丰富数据集训练：基于 OpenThoughts3-1.2M 数据集进行训练，包含850,000个数学问题、250,000个代码问题和100,000个科学问题。
• 高效训练：使用512个A100节点进行了48小时的训练。

📚 详细文档

原模型卡片

论文 | 数据集 | 模型

⚠️ 重要提示

我们已经发布了关于 OpenThoughts 的论文！请查看我们的 论文。

OpenThinker3-7B

这是一个最先进的开放数据7B推理模型。该模型是 Qwen/Qwen2.5-7B-Instruct 在 OpenThoughts3-1.2M 数据集上的微调版本。与我们之前的模型 OpenThinker-7B 和 OpenThinker2-7B 相比，它有显著的改进。尽管只使用了SFT进行训练，没有使用任何RL，但它在性能上超过了其他几个强大的7B推理模型，如 DeepSeek-R1-Distill-Qwen-7B 和 Llama-3.1-Nemotron-Nano-8B-v1。

这次，我们还发布了一篇论文！更多详情请查看我们的 论文 和 博客文章。后续还会推出 OpenThinker3-32B！

评估结果

下表中的数据是使用我们的开源工具 Evalchemy 进行评估的。在下表中，我们将每列中与最佳值相差在2个标准差以内的值加粗显示。

数据

该模型基于 OpenThoughts3-1.2M 数据集进行训练。模型强大性能的关键在于我们全面的数据管道和1000多个消融实验。这促成了 OpenThoughts3-1.2M 数据集的创建，该数据集包含850,000个数学问题、250,000个代码问题和100,000个科学问题。推理轨迹是使用 QwQ - 32B 生成的。

更多信息请查看 OpenThoughts3-1.2M 数据集页面或我们的 论文。

预期用途和限制

本模型采用 Apache 2.0 许可证。

训练过程

我们使用512个A100节点对模型进行了48小时的训练。

训练超参数

训练过程中使用了以下超参数：

• 学习率：8e - 05
• 随机种子：42
• 分布式类型：多GPU
• 设备数量：512
• 梯度累积步数：1
• 总训练批次大小：512
• 优化器：使用 OptimizerNames.ADAMW_TORCH，β值为(0.9, 0.999)，ε值为1e - 08，无额外优化器参数
• 学习率调度器类型：余弦
• 学习率调度器预热比例：0.1
• 训练轮数：5.0
• 权重衰减：0.0

框架版本

• Transformers 4.46.1
• Pytorch 2.3.0
• Datasets 3.1.0
• Tokenizers 0.20.3

更多信息可在我们的仓库中找到：https://github.com/open-thoughts/open-thoughts。

链接

• OpenThoughts 论文
• OpenThoughts3-1.2M 和 OpenThinker3-7B 博客文章
• Open Thoughts GitHub 仓库
• OpenThoughts3-1.2M 数据集
• OpenThinker3-7B 模型 - 本模型

引用

@misc{guha2025openthoughtsdatarecipesreasoning,
  title={OpenThoughts: Data Recipes for Reasoning Models}, 
  author={Etash Guha and Ryan Marten and Sedrick Keh and Negin Raoof and Georgios Smyrnis and Hritik Bansal and Marianna Nezhurina and Jean Mercat and Trung Vu and Zayne Sprague and Ashima Suvarna and Benjamin Feuer and Liangyu Chen and Zaid Khan and Eric Frankel and Sachin Grover and Caroline Choi and Niklas Muennighoff and Shiye Su and Wanjia Zhao and John Yang and Shreyas Pimpalgaonkar and Kartik Sharma and Charlie Cheng-Jie Ji and Yichuan Deng and Sarah Pratt and Vivek Ramanujan and Jon Saad-Falcon and Jeffrey Li and Achal Dave and Alon Albalak and Kushal Arora and Blake Wulfe and Chinmay Hegde and Greg Durrett and Sewoong Oh and Mohit Bansal and Saadia Gabriel and Aditya Grover and Kai-Wei Chang and Vaishaal Shankar and Aaron Gokaslan and Mike A. Merrill and Tatsunori Hashimoto and Yejin Choi and Jenia Jitsev and Reinhard Heckel and Maheswaran Sathiamoorthy and Alexandros G. Dimakis and Ludwig Schmidt},
  year={2025},
  eprint={2506.04178},
  archivePrefix={arXiv},
  primaryClass={cs.LG},
  url={https://arxiv.org/abs/2506.04178}, 
}

📄 许可证

本项目采用 Apache 2.0 许可证。