Svdq Int4 Flux.1 Canny Dev

🚀 低秩量化模型 svdq-int4-flux.1-canny-dev

svdq-int4-flux.1-canny-dev 是一個圖像生成模型，它是對 FLUX.1-Canny-dev 進行 INT4 量化後的版本。該模型可以根據文本描述生成圖像，同時遵循輸入圖像的 Canny 邊緣信息。與原始的 BF16 模型相比，它能節省約 4 倍的內存，並且推理速度快 2 - 3 倍。

量化庫: DeepCompressor   推理引擎: Nunchaku

✨ 主要特性

• 基於低秩量化技術，在保持模型性能的同時，顯著減少內存佔用和推理時間。
• 能夠根據文本描述和輸入圖像的 Canny 邊緣信息生成高質量的圖像。
• 支持多種圖像生成任務，如文本到圖像、圖像到圖像、深度到圖像等。

📦 安裝指南

請按照 mit-han-lab/nunchaku 中的說明設置環境。此外，還需要安裝一些 ControlNet 依賴項：

pip install git+https://github.com/asomoza/image_gen_aux.git
pip install controlnet_aux mediapipe

💻 使用示例

基礎用法

import torch
from controlnet_aux import CannyDetector
from diffusers import FluxControlPipeline
from diffusers.utils import load_image

from nunchaku.models.transformer_flux import NunchakuFluxTransformer2dModel

transformer = NunchakuFluxTransformer2dModel.from_pretrained("mit-han-lab/svdq-int4-flux.1-canny-dev")
pipe = FluxControlPipeline.from_pretrained(
    "black-forest-labs/FLUX.1-Canny-dev", transformer=transformer, torch_dtype=torch.bfloat16
).to("cuda")

prompt = "A robot made of exotic candies and chocolates of different kinds. The background is filled with confetti and celebratory gifts."
control_image = load_image("https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/robot.png")

processor = CannyDetector()
control_image = processor(
    control_image, low_threshold=50, high_threshold=200, detect_resolution=1024, image_resolution=1024
)

image = pipe(
    prompt=prompt, control_image=control_image, height=1024, width=1024, num_inference_steps=50, guidance_scale=30.0
).images[0]
image.save("flux.1-canny-dev.png")

Comfy UI

開發中，敬請期待！

📚 詳細文檔

模型信息

量化方法 -- SVDQuant

SVDQuant 概述：

• 階段 1：最初，激活值 X 和權重 W 都包含離群值，這使得 4 位量化變得困難。
• 階段 2：將離群值從激活值遷移到權重，得到更新後的激活值和權重。此時，激活值更易於量化，而權重的量化難度增加。
• 階段 3：SVDQuant 進一步使用奇異值分解（SVD）將權重分解為低秩分量和殘差。這樣，低秩分支以 16 位精度運行，從而減輕了量化難度。

Nunchaku 引擎設計

• （a）由於在 Down Projection 中額外讀取 16 位輸入以及在 Up Projection 中額外寫入 16 位輸出，簡單地以秩 32 運行低秩分支會引入 57% 的延遲開銷。Nunchaku 通過內核融合優化了這一開銷。
• （b）Down Projection 和 Quantize 內核使用相同的輸入，而 Up Projection 和 4-Bit Compute 內核共享相同的輸出。為了減少數據移動開銷，將前兩個內核和後兩個內核分別融合在一起。

🔧 技術細節

• 模型量化：使用 SVDQuant 方法對 FLUX.1-Canny-dev 模型進行 INT4 量化，通過將離群值遷移和低秩分解來減輕量化難度。
• 推理引擎：採用 Nunchaku 推理引擎，通過內核融合優化低秩分支的運行，減少延遲開銷。

📄 許可證

本模型使用 flux-1-dev-non-commercial-license 許可證。

限制

• 該模型僅可在具有 sm_86（安培架構：RTX 3090、A6000）、sm_89（Ada 架構：RTX 4090）和 sm_80（A100）架構的 NVIDIA GPU 上運行。更多詳情請參閱此 問題。
• 與 BF16 模型相比，在細節上可能會觀察到一些細微差異。

引用

如果您發現此模型對您的研究有用或相關，請引用以下文獻：

@inproceedings{
  li2024svdquant,
  title={SVDQuant: Absorbing Outliers by Low-Rank Components for 4-Bit Diffusion Models},
  author={Li*, Muyang and Lin*, Yujun and Zhang*, Zhekai and Cai, Tianle and Li, Xiuyu and Guo, Junxian and Xie, Enze and Meng, Chenlin and Zhu, Jun-Yan and Han, Song},
  booktitle={The Thirteenth International Conference on Learning Representations},
  year={2025}
}