BAGEL 7B MoT DF11

🚀 DFloat11壓縮模型：ByteDance-Seed/BAGEL-7B-MoT

本模型採用了DFloat11無損壓縮技術。相較於原始的BFloat16模型，它的體積縮小了32%，但輸出結果與原模型完全一致，並且能在GPU上高效運行。

✨ 主要特性

• 基礎模型：ByteDance-Seed/BAGEL-7B-MoT
• 基礎模型關係：量化
• 任務類型：任意到任意
• 標籤：dfloat11、df11、無損壓縮、70%體積，100%準確率

📊 性能對比

🔧 技術細節

我們對BFloat16模型權重的指數位應用了霍夫曼編碼，這些指數位具有很高的可壓縮性。同時，我們利用了硬件感知的算法設計，使得權重能夠在GPU上直接進行高效的實時解壓縮。更多詳細信息請參考我們的研究論文。

💻 使用示例

完整的使用指南可在我們的GitHub倉庫（從官方Bagel倉庫派生而來）中找到：https://github.com/LeanModels/Bagel-DFloat11。

📚 詳細文檔

• 論文：70% Size, 100% Accuracy: Lossless LLM Compression for Efficient GPU Inference via Dynamic-Length Float
• GitHub：https://github.com/LeanModels/DFloat11
• HuggingFace：https://huggingface.co/DFloat11