Hunyuan 7B Pretrain

🚀 混元-7B模型

混元此次发布的7B模型：Hunyuan-7B-Pretrain 和 Hunyuan-7B-Instruct，采用了更优的数据分配和训练方式，性能强劲，在计算和性能之间取得了良好的平衡。它在众多大语言模型中脱颖而出，是目前最强的中文7B稠密模型之一。

 GITHUB  

🚀 快速开始

你可以参考 Tencent-Hunyuan-Large 中的内容快速上手。训练和推理代码可以使用该GitHub仓库中提供的版本。

推理框架

本次开源版本为混元-7B模型提供了两种推理后端选项：流行的 vLLM-backend 和 TensorRT-LLM 后端。在本次发布中，我们首先开源了 vLLM 解决方案，计划在不久的将来发布 TRT-LLM 解决方案。

✨ 主要特性

技术优势介绍

模型

• 将长文本处理能力扩展到 256K，并采用了分组查询注意力机制（GQA）。

推理框架

• 本次开源版本为混元-7B模型提供了两种推理后端选项：流行的 vLLM-backend 和 TensorRT-LLM 后端。在本次发布中，我们首先开源了 vLLM 解决方案，计划在不久的将来发布 TRT-LLM 解决方案。

训练框架

• 混元-7B 开源模型完全兼容 Hugging Face 格式，研究人员和开发者可以使用 hf-deepspeed 框架对模型进行微调。了解更多：Tencent-Hunyuan-Large。

📚 详细文档

相关新闻

• 2025.1.24 我们在 Hugging Face 上开源了 Hunyuan-7B-Pretrain 和 Hunyuan-7B-Instruct。

基准测试

注意：以下基准测试由 TRT-LLM-backend 进行评估。

Hunyuan-7B-Pretrain

Hunyuan-7B-Instruct

推理性能

本节展示了使用 vLLM 部署各种模型的效率测试结果，包括不同批次大小下的推理速度（tokens/s）。

📄 许可证

本项目采用其他许可证，许可证名称为 tencent-license，你可以通过 此链接 查看具体内容。

📞 联系我们

如果您想给我们的研发和产品团队留言，欢迎联系我们的开源团队。您也可以通过电子邮件（hunyuan_opensource@tencent.com）与我们联系。