BAGEL 7B MoT DF11

🚀 DFloat11圧縮モデル: ByteDance - Seed/BAGEL - 7B - MoT

このモデルはDFloat11の損失なし圧縮を使用しています。元のBFloat16モデルよりも32%小さく、ビット単位で同一の出力を生成し、GPU上で効率的に実行されます。

🚀 クイックスタート

このモデルは、DFloat11を用いた損失なし圧縮技術を採用しており、GPU上での実行効率が高められています。以下に、モデルの詳細と使用方法を説明します。

✨ 主な機能

• 損失なし圧縮: DFloat11を使用して、モデルサイズを大幅に削減しながら、ビット単位で同一の出力を維持します。
• GPU効率化: ハードウェア対応のアルゴリズム設計により、GPU上でのオンザフライの重み展開を可能にし、効率的な実行を実現します。

📦 インストール

完全な使用ガイドは、GitHubリポジトリ（公式Bagelリポジトリからフォーク）にあります: [https://github.com/LeanModels/Bagel - DFloat11](https://github.com/LeanModels/Bagel - DFloat11)。

💻 使用例

使用方法については、上記のGitHubリポジトリを参照してください。

📚 ドキュメント

🔍 性能比較

🛠️ 動作原理

BFloat16モデルの重みの指数ビットにハフマン符号化を適用します。これらの指数ビットは高い圧縮率が得られます。また、ハードウェア対応のアルゴリズム設計を利用して、GPU上で直接、効率的なオンザフライの重み展開を可能にしています。詳細は、研究論文を参照してください。

📖 詳細情報

• 論文: 70% Size, 100% Accuracy: Lossless LLM Compression for Efficient GPU Inference via Dynamic - Length Float
• GitHub: https://github.com/LeanModels/DFloat11
• HuggingFace: https://huggingface.co/DFloat11

📄 ライセンス

元のREADMEにライセンス情報が記載されていないため、このセクションは省略されています。