FLUX.1 Fill Dev DF11

🚀 DFloat11圧縮モデル: black-forest-labs/FLUX.1-Fill-dev

これは、独自のDFloat11形式を使用して、black-forest-labs/FLUX.1-Fill-devを損失なく圧縮したバージョンです。この圧縮モデルの出力は、元のBFloat16モデルとビット単位で完全に一致し、GPUメモリ消費を約30%削減します。

🚀 クイックスタート

動作原理

DFloat11は、BFloat16指数ビットのハフマン符号化を使用してモデルの重みを圧縮し、ハードウェア対応のアルゴリズム設計により、GPU上で直接オンザフライで効率的な解凍を可能にします。推論中、重みはGPUメモリ内で圧縮されたままで、行列乗算の直前に解凍され、使用後すぐに破棄されるため、メモリ使用量を最小限に抑えることができます。

主な利点:

• CPUでの解凍やホスト - デバイス間のデータ転送が不要: すべての操作がGPU上で完全に処理されます。
• DFloat11はCPUオフロード方式よりもはるかに高速で、メモリ制限のある環境での実用的なデプロイを可能にします。
• 圧縮は完全に損失がなく、モデルの出力が元のモデルとビット単位で完全に一致することが保証されます。

使用方法

1. DFloat11のpipパッケージをインストールまたはアップグレードします（CUDAカーネルが自動的にインストールされます。CUDA対応のGPUとPyTorchがインストールされている必要があります）:

pip install -U dfloat11[cuda12]
# またはCUDAバージョン11を使用している場合:
# pip install -U dfloat11[cuda11]

2. diffusersパッケージをインストールまたはアップグレードします。

pip install -U diffusers

3. DFloat11モデルを使用するには、以下のPythonのサンプルコードを実行します:

import torch
from diffusers import FluxFillPipeline
from diffusers.utils import load_image
from dfloat11 import DFloat11Model

image = load_image("https://huggingface.co/datasets/diffusers/diffusers-images-docs/resolve/main/cup.png")
mask = load_image("https://huggingface.co/datasets/diffusers/diffusers-images-docs/resolve/main/cup_mask.png")

pipe = FluxFillPipeline.from_pretrained("black-forest-labs/FLUX.1-Fill-dev", torch_dtype=torch.bfloat16)
pipe.enable_model_cpu_offload()

DFloat11Model.from_pretrained('DFloat11/FLUX.1-Fill-dev-DF11', device='cpu', bfloat16_model=pipe.transformer)

image = pipe(
    prompt="a white paper cup",
    image=image,
    mask_image=mask,
    height=1632,
    width=1232,
    guidance_scale=30,
    num_inference_steps=50,
    max_sequence_length=512,
    generator=torch.Generator("cpu").manual_seed(0)
).images[0]
image.save(f"flux-fill-dev.png")

詳細情報

• 論文: 70% Size, 100% Accuracy: Lossless LLM Compression for Efficient GPU Inference via Dynamic-Length Float
• GitHub: https://github.com/LeanModels/DFloat11
• HuggingFace: https://huggingface.co/DFloat11

📦 モデル情報