Bloom Deepspeed Inference Fp16

🚀 BLOOMモデルの効率的なコピー

このリポジトリは、DeepSpeed-MII と DeepSpeed-Inference でより効率的に使用できる、元の BLOOMの重み のコピーです。このリポジトリでは、元のテンソルが8つのシャードに分割され、8つのGPUを対象としています。これにより、ユーザーはDeepSpeed-inferenceのテンソル並列処理でモデルを実行することができます。

📚 ドキュメント

BLOOMモデル自体の具体的な詳細については、元のBLOOMモデルカード を参照してください。

💻 使用例

このリポジトリの使用例については、以下を参照してください。

• https://github.com/huggingface/transformers-bloom-inference
• https://github.com/microsoft/DeepSpeed-MII

📄 ライセンス

このプロジェクトは、bigscience-bloom-rail-1.0ライセンスの下で提供されています。