Sky T1 32B Flash

🚀 32B推理模型

本项目是一个基于特定优化的32B推理模型，在保持准确性的同时显著减少生成长度，为数学和编码等领域的推理任务提供高效解决方案。

🚀 快速开始

您可以参考我们的 博客文章 以获取更多关于该模型的详细信息。

✨ 主要特性

这是一个在 Sky-T1-32B-Preview 基础上进行偏好优化的32B推理模型，能够在保持准确性的同时显著减少生成长度。在数学和编码方面，其性能与 o1-preview 模型相当，相对于 Sky-T1-32B-Preview，生成长度最多可减少57%。

📦 安装指南

文档未提及安装步骤，暂无法提供。

📚 详细文档

模型详情

模型描述

这是一个在 Sky-T1-32B-Preview 基础上进行偏好优化的32B推理模型，旨在显著减少生成长度，同时保持准确性。在数学和编码方面，其性能与 o1-preview 模型相当，相对于 Sky-T1-32B-Preview，生成长度最多可减少57%。

• 开发者：来自加州大学伯克利分校天空计算实验室的 NovaSky 团队。

训练详情

训练数据

在数学和编码领域有10K个偏好对，由 Sky-T1-32B-Preview 生成。

训练过程

我们使用简单策略优化（SimPO）进行训练，批量大小为96，学习率为5e - 7，gamma 为0.3，beta 为2.0。

训练速度

我们使用 Llama - Factory 进行训练。在8xH100上，使用 DeepSpeed Zero - 3 Offload 进行 SimPO 训练大约需要2.5小时。

评估

致谢

我们感谢 Lambda Lab 和 AnyScale 提供的计算资源。

许可证

本项目采用 Apache - 2.0 许可证。

引用

如果您认为我们的博客文章对您的研究有帮助，请考虑引用。谢谢！

@misc{reduce_overthinking_2025,
  author       = {NovaSky Team},
  title        = {Think Less, Achieve More: Cut Reasoning Costs by 50% Without Sacrificing Accuracy},
  howpublished = {https://novasky-ai.github.io/posts/reduce-overthinking},
  note         = {Accessed: 2025-01-23},
  year         = {2025}
}

信息表格