Hunyuan 7B Instruct

🚀 混元-7B模型

混元此次發佈的7B模型，包括 Hunyuan-7B-Pretrain 和 Hunyuan-7B-Instruct，通過更優的數據分配和訓練，展現出強大性能，在計算和性能之間取得了良好平衡。它在眾多大語言模型中脫穎而出，是目前最強的中文7B稠密模型之一。

 GITHUB  

✨ 主要特性

技術優勢介紹

模型

• 擴展長文本能力至256K，並採用分組查詢注意力機制（Grouped Query Attention，GQA）。

推理框架

• 此次開源版本為混元-7B模型提供了兩種推理後端選項：流行的 vLLM-backend 和 TensorRT-LLM 後端。本次先開源 vLLM 解決方案，後續將發佈 TRT-LLM 解決方案。

訓練框架

• 混元-7B開源模型完全兼容 Hugging Face 格式，研究人員和開發者可使用 hf-deepspeed 框架進行模型微調。瞭解更多：Tencent-Hunyuan-Large。

📚 詳細文檔

相關新聞

• 2025.1.24 我們在 Hugging Face 上開源了 Hunyuan-7B-Pretrain 和 Hunyuan-7B-Instruct。

基準測試

注意：以下基準測試由 TRT-LLM-backend 進行評估。

Hunyuan-7B-Pretrain

Hunyuan-7B-Instruct

🚀 快速開始

你可以參考 Tencent-Hunyuan-Large 中的內容快速上手。訓練和推理代碼可使用該 GitHub 倉庫中提供的版本。

推理框架

• 此次開源版本為混元-7B模型提供了兩種推理後端選項：流行的 vLLM-backend 和 TensorRT-LLM 後端。本次先開源 vLLM 解決方案，後續將發佈 TRT-LLM 解決方案。

推理性能

本節展示了使用 vLLM 部署各模型的效率測試結果，包括不同批次大小下的推理速度（tokens/s）。

📄 許可證

本項目採用 tencent-license 許可證。

📞 聯繫我們

如果您想給我們的研發和產品團隊留言，歡迎聯繫我們的開源團隊。您也可以通過電子郵件（hunyuan_opensource@tencent.com）與我們聯繫。