FLUX.1 Schnell DF11

🚀 DFloat11圧縮モデル: black-forest-labs/FLUX.1-schnell

これは、独自のDFloat11形式を使用して、black-forest-labs/FLUX.1-schnell を損失なく圧縮したバージョンです。この圧縮モデルの出力は、元のBFloat16モデルとビット単位で完全に一致し、GPUメモリ消費を約30%削減します。

🚀 クイックスタート

このDFloat11圧縮モデルを使用することで、GPUメモリ消費を抑えながら、元のモデルと同じ出力を得ることができます。以下に、使用方法を説明します。

✨ 主な機能

• 損失なしの圧縮：DFloat11形式を使用して、モデルの重みを損失なく圧縮します。出力は元のBFloat16モデルとビット単位で完全に一致します。
• GPUメモリ消費の削減：GPUメモリ消費を約30%削減し、メモリ制約のある環境でも効率的な推論が可能です。
• 高速な推論：CPUでの解凍やホスト - デバイス間のデータ転送が不要で、すべての操作をGPU上で完結させるため、CPUオフロード方式よりも高速です。

📦 インストール

1. DFloat11のpipパッケージをインストールします（CUDAカーネルが自動的にインストールされます。CUDA互換のGPUとPyTorchがインストールされている必要があります）。

   pip install dfloat11[cuda12]
   # もしCUDAバージョン11を使用している場合は、以下のコマンドを使用します。
   # pip install dfloat11[cuda11]
   

💻 使用例

基本的な使用法

import torch
from diffusers import FluxPipeline
from dfloat11 import DFloat11Model

pipe = FluxPipeline.from_pretrained("black-forest-labs/FLUX.1-schnell", torch_dtype=torch.bfloat16)
pipe.enable_model_cpu_offload()

DFloat11Model.from_pretrained('DFloat11/FLUX.1-schnell-DF11', device='cpu', bfloat16_model=pipe.transformer)

prompt = "A futuristic cityscape at sunset, with flying cars, neon lights, and reflective water canals"
image = pipe(
    prompt,
    guidance_scale=0.0,
    num_inference_steps=4,
    max_sequence_length=256,
    generator=torch.Generator("cpu").manual_seed(0)
).images[0]
image.save("flux-schnell.png")

📚 ドキュメント

仕組み

DFloat11は、BFloat16の指数ビットのハフマン符号化を使用してモデルの重みを圧縮し、ハードウェア対応のアルゴリズム設計により、GPU上で直接オンザフライで効率的に解凍できるようにしています。推論中、重みはGPUメモリ内で圧縮されたままで、行列乗算の直前に解凍され、使用後すぐに破棄されるため、メモリ使用量を最小限に抑えます。

主な利点:

• CPUでの解凍やホスト - デバイス間のデータ転送が不要 --- すべての操作がGPU上で完全に処理されます。
• DFloat11はCPUオフロード方式よりもはるかに高速で、メモリ制約のある環境での実用的なデプロイを可能にします。
• 圧縮は完全に損失なしで、モデルの出力が元のモデルとビット単位で完全に一致することが保証されます。

詳細情報

• 論文: 70% Size, 100% Accuracy: Lossless LLM Compression for Efficient GPU Inference via Dynamic-Length Float
• GitHub: https://github.com/LeanModels/DFloat11
• HuggingFace: https://huggingface.co/DFloat11