FLUX.1 Dev DF11

🚀 DFloat11壓縮模型：black-forest-labs/FLUX.1-dev

這是使用我們自定義的 DFloat11 格式對 black-forest-labs/FLUX.1-dev 進行 無損壓縮 後的版本。該壓縮模型的輸出與原始的BFloat16模型 逐位相同，同時將GPU內存消耗降低了約 30%。

✨ 主要特性

• 無損壓縮：壓縮過程完全無損，保證模型輸出與原始模型逐位相同。
• 高效的GPU處理：無需CPU解壓縮或主機 - 設備數據傳輸，所有操作都在GPU上完成。
• 快速且節省內存：比CPU卸載方法快得多，適用於內存受限的環境。

📦 安裝指南

1. 安裝DFloat11的pip包（會自動安裝CUDA內核；需要支持CUDA的GPU並安裝PyTorch）：

   pip install dfloat11[cuda12]
   # 或者如果你使用的是CUDA 11版本:
   # pip install dfloat11[cuda11]
   

💻 使用示例

基礎用法

import torch
from diffusers import FluxPipeline
from dfloat11 import DFloat11Model

pipe = FluxPipeline.from_pretrained("black-forest-labs/FLUX.1-dev", torch_dtype=torch.bfloat16)
pipe.enable_model_cpu_offload()

DFloat11Model.from_pretrained('DFloat11/FLUX.1-dev-DF11', device='cpu', bfloat16_model=pipe.transformer)

prompt = "A futuristic cityscape at sunset, with flying cars, neon lights, and reflective water canals"
image = pipe(
    prompt,
    width=1920,
    height=1440,
    guidance_scale=3.5,
    num_inference_steps=50,
    max_sequence_length=512,
    generator=torch.Generator(device="cuda").manual_seed(0)
).images[0]

image.save("image.png")

📚 詳細文檔

工作原理

DFloat11通過對BFloat16指數位進行 霍夫曼編碼 來壓縮模型權重，並結合 硬件感知的算法設計，實現了在GPU上直接進行高效的即時解壓縮。在推理過程中，權重在GPU內存中保持壓縮狀態，僅在矩陣乘法之前進行 解壓縮，使用後 立即丟棄 以最小化內存佔用。

關鍵優勢

• 無需CPU解壓縮或主機 - 設備數據傳輸：所有操作都完全在GPU上處理。
• 比CPU卸載方法快得多：能夠在內存受限的環境中進行實際部署。
• 完全無損壓縮：保證模型的輸出與原始模型 逐位相同。

更多信息

• 論文：70% Size, 100% Accuracy: Lossless LLM Compression for Efficient GPU Inference via Dynamic-Length Float
• GitHub：https://github.com/LeanModels/DFloat11
• HuggingFace：https://huggingface.co/DFloat11

📄 許可證

文檔未提及相關許可證信息。

信息表格