FLUX.1 Canny Dev DF11

🚀 DFloat11圧縮モデル：black-forest-labs/FLUX.1-Canny-dev

このプロジェクトは、カスタムの DFloat11 形式を使用して、black-forest-labs/FLUX.1-Canny-dev を 無損圧縮 したバージョンです。この圧縮モデルの出力は、元のBFloat16モデルと ビット単位で同一 であり、同時にGPUメモリ消費を約 30% 削減することができます。

🚀 クイックスタート

インストール手順

1. DFloat11のpipパッケージをインストールまたはアップグレードします（CUDAカーネルが自動的にインストールされます；CUDA対応のGPUとPyTorchがインストールされている必要があります）：

   pip install -U dfloat11[cuda12]
   # CUDA 11バージョンを使用する場合：
   # pip install -U dfloat11[cuda11]
   

2. diffusersとcontrolnet_auxパッケージをインストールまたはアップグレードします：

   pip install -U diffusers controlnet_aux
   

使用例

基本的な使用法

DFloat11モデルを使用するには、以下のPythonサンプルコードを実行してください：

import torch
from controlnet_aux import CannyDetector
from diffusers import FluxControlPipeline
from diffusers.utils import load_image
from dfloat11 import DFloat11Model

pipe = FluxControlPipeline.from_pretrained("black-forest-labs/FLUX.1-Canny-dev", torch_dtype=torch.bfloat16)
pipe.enable_model_cpu_offload()

DFloat11Model.from_pretrained('DFloat11/FLUX.1-Canny-dev-DF11', device='cpu', bfloat16_model=pipe.transformer)

prompt = "A robot made of exotic candies and chocolates of different kinds. The background is filled with confetti and celebratory gifts."
control_image = load_image("https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/robot.png")

processor = CannyDetector()
control_image = processor(control_image, low_threshold=50, high_threshold=200, detect_resolution=1024, image_resolution=1024)

image = pipe(
    prompt=prompt,
    control_image=control_image,
    height=1024,
    width=1024,
    num_inference_steps=50,
    guidance_scale=30.0,
).images[0]
image.save("output.png")

✨ 主な機能

動作原理

DFloat11は、BFloat16の指数ビットを ハフマン符号化 することでモデルの重みを圧縮し、ハードウェア感知型のアルゴリズム設計 を組み合わせることで、GPU上で直接効率的な即時解凍を実現しています。推論中、重みはGPUメモリ内で圧縮された状態を維持し、行列乗算の前に解凍 され、使用後は すぐに破棄 されるため、メモリ使用量を最小限に抑えることができます。

主な利点

• CPUでの解凍やホスト - デバイス間のデータ転送が不要：すべての操作はGPU上で完了します。
• DFloat11は CPUオフロード方式よりもはるかに高速 で、メモリが制限された環境での実際のデプロイが可能です。
• 圧縮は 完全に無損 であり、モデルの出力が元のモデルと ビット単位で同一 であることが保証されます。

📚 ドキュメント

詳細情報

• 論文：70% Size, 100% Accuracy: Lossless LLM Compression for Efficient GPU Inference via Dynamic-Length Float
• GitHub：https://github.com/LeanModels/DFloat11
• HuggingFace：https://huggingface.co/DFloat11

📦 モデル情報