Hunyuan 7B Instruct 0124

🚀 混元-7B模型

混元此次發佈的7B模型，包括 混元-7B預訓練模型-0124 和 混元-7B指令模型-0124 ，採用了更優的數據分配和訓練方式，性能強勁，在計算資源和性能表現之間取得了良好的平衡。在眾多大語言模型中脫穎而出，是目前最強的中文7B稠密模型之一。

 GITHUB  

🚀 快速開始

你可以參考 Tencent-Hunyuan-Large 中的內容快速上手。訓練和推理代碼可以使用該GitHub倉庫中提供的版本。

推理框架

本次開源版本為混元-7B模型提供了兩種推理後端選項：廣受歡迎的 vLLM後端 和TensorRT-LLM後端。在本次發佈中，我們首先開源了vLLM解決方案，計劃在不久的將來發布TRT-LLM解決方案。

✨ 主要特性

技術優勢介紹

模型

• 將長文本處理能力擴展到256K，並採用了分組查詢注意力機制（Grouped Query Attention，GQA）。

推理框架

• 本次開源發佈為混元-7B模型量身定製了兩種推理後端選項，分別是廣受歡迎的 vLLM後端 和TensorRT-LLM後端。此次發佈先開源了vLLM解決方案，後續還計劃發佈TRT-LLM解決方案。

訓練框架

• 混元-7B開源模型完全兼容Hugging Face格式，研究人員和開發者可以使用hf-deepspeed框架對模型進行微調。更多信息請參考：Tencent-Hunyuan-Large。

📚 詳細文檔

相關動態

• 2025年1月24日，我們在Hugging Face上開源了 混元-7B預訓練模型-0124 和 混元-7B指令模型-0124。

基準測試

注意：以下基準測試由TRT-LLM後端進行評估。

混元-7B預訓練模型

混元-7B指令模型

推理性能

本節展示了使用vLLM部署各種模型的效率測試結果，包括不同批次大小下的推理速度（令牌/秒）。

📄 許可證

本項目採用 Tencent License 許可證。

📞 聯繫我們

如果您想給我們的研發和產品團隊留言，歡迎聯繫我們的開源團隊。您也可以通過電子郵件（hunyuan_opensource@tencent.com）與我們取得聯繫。