Hunyuan 7B Pretrain

🚀 混元-7B模型

混元此次發佈的7B模型：Hunyuan-7B-Pretrain 和 Hunyuan-7B-Instruct，採用了更優的數據分配和訓練方式，性能強勁，在計算和性能之間取得了良好的平衡。它在眾多大語言模型中脫穎而出，是目前最強的中文7B稠密模型之一。

 GITHUB  

🚀 快速開始

你可以參考 Tencent-Hunyuan-Large 中的內容快速上手。訓練和推理代碼可以使用該GitHub倉庫中提供的版本。

推理框架

本次開源版本為混元-7B模型提供了兩種推理後端選項：流行的 vLLM-backend 和 TensorRT-LLM 後端。在本次發佈中，我們首先開源了 vLLM 解決方案，計劃在不久的將來發布 TRT-LLM 解決方案。

✨ 主要特性

技術優勢介紹

模型

• 將長文本處理能力擴展到 256K，並採用了分組查詢注意力機制（GQA）。

推理框架

• 本次開源版本為混元-7B模型提供了兩種推理後端選項：流行的 vLLM-backend 和 TensorRT-LLM 後端。在本次發佈中，我們首先開源了 vLLM 解決方案，計劃在不久的將來發布 TRT-LLM 解決方案。

訓練框架

• 混元-7B 開源模型完全兼容 Hugging Face 格式，研究人員和開發者可以使用 hf-deepspeed 框架對模型進行微調。瞭解更多：Tencent-Hunyuan-Large。

📚 詳細文檔

相關新聞

• 2025.1.24 我們在 Hugging Face 上開源了 Hunyuan-7B-Pretrain 和 Hunyuan-7B-Instruct。

基準測試

注意：以下基準測試由 TRT-LLM-backend 進行評估。

Hunyuan-7B-Pretrain

Hunyuan-7B-Instruct

推理性能

本節展示了使用 vLLM 部署各種模型的效率測試結果，包括不同批次大小下的推理速度（tokens/s）。

📄 許可證

本項目採用其他許可證，許可證名稱為 tencent-license，你可以通過 此鏈接 查看具體內容。

📞 聯繫我們

如果您想給我們的研發和產品團隊留言，歡迎聯繫我們的開源團隊。您也可以通過電子郵件（hunyuan_opensource@tencent.com）與我們聯繫。