Hunyuan 7B Instruct 0124

🚀 混元-7B模型

混元此次发布的7B模型，包括 混元-7B预训练模型-0124 和 混元-7B指令模型-0124 ，采用了更优的数据分配和训练方式，性能强劲，在计算资源和性能表现之间取得了良好的平衡。在众多大语言模型中脱颖而出，是目前最强的中文7B稠密模型之一。

 GITHUB  

🚀 快速开始

你可以参考 Tencent-Hunyuan-Large 中的内容快速上手。训练和推理代码可以使用该GitHub仓库中提供的版本。

推理框架

本次开源版本为混元-7B模型提供了两种推理后端选项：广受欢迎的 vLLM后端 和TensorRT-LLM后端。在本次发布中，我们首先开源了vLLM解决方案，计划在不久的将来发布TRT-LLM解决方案。

✨ 主要特性

技术优势介绍

模型

• 将长文本处理能力扩展到256K，并采用了分组查询注意力机制（Grouped Query Attention，GQA）。

推理框架

• 本次开源发布为混元-7B模型量身定制了两种推理后端选项，分别是广受欢迎的 vLLM后端 和TensorRT-LLM后端。此次发布先开源了vLLM解决方案，后续还计划发布TRT-LLM解决方案。

训练框架

• 混元-7B开源模型完全兼容Hugging Face格式，研究人员和开发者可以使用hf-deepspeed框架对模型进行微调。更多信息请参考：Tencent-Hunyuan-Large。

📚 详细文档

相关动态

• 2025年1月24日，我们在Hugging Face上开源了 混元-7B预训练模型-0124 和 混元-7B指令模型-0124。

基准测试

注意：以下基准测试由TRT-LLM后端进行评估。

混元-7B预训练模型

混元-7B指令模型

推理性能

本节展示了使用vLLM部署各种模型的效率测试结果，包括不同批次大小下的推理速度（令牌/秒）。

📄 许可证

本项目采用 Tencent License 许可证。

📞 联系我们

如果您想给我们的研发和产品团队留言，欢迎联系我们的开源团队。您也可以通过电子邮件（hunyuan_opensource@tencent.com）与我们取得联系。