Flux Imatrix

🚀 FLUX.1-dev文本到圖像模型

本項目基於black-forest-labs/FLUX.1-dev基礎模型，利用gguf庫實現文本到圖像的轉換功能。

📚 詳細文檔

支持情況

目前該模型可能存在部分功能故障或不完善的情況，請謹慎使用。

• ComfyUI - GGUF：
  • 快速反量化：支持BF16、Q8_0、Q5_1、Q5_0、Q4_1、Q4_0、Q6_K、Q5_K、Q4_K、Q3_K、Q2_K。
  • 慢速反量化：其他類型可通過[GGUF/NumPy](https://github.com/city96/ComfyUI-GGUF/blob/379175e7bf8b65019cdd11108bb882120a6f17df/dequant.py#L24 - L28)實現。
• Forge：支持情況待定。
• stable - diffusion.cpp：可參考[llama.cpp Feature - matrix](https://github.com/ggerganov/llama.cpp/wiki/Feature - matrix)。
  • CPU：全支持。
  • Cuda：可能全支持。
  • Vulkan：支持>= Q3_K_S、> IQ4_S；相關PR：PR IQ1_S, IQ1_M PR IQ4_XS
  • 其他：支持情況未知。

Disco動態量化情況

• time_in.in_layer：Q8_0/Q6_K
• final_layer, vector_in.in_layer, guidance_in：Q8_0
• vector_in.out_layer, time_in.out_layer, txt_in, img_in：F16
• single_blocks.[> 10 && < 37].modulation.lin：可能降一位

Caesar組合情況

組合了多個512x512和768x768的圖像，步數為25、30和50，使用[city96/flux1 - dev - Q8_0](https://huggingface.co/city96/FLUX.1 - dev - gguf/blob/main/flux1 - dev - Q8_0.gguf)和euler算法。

數據：load_imatrix: loaded 314 importance matrix entries from imatrix_caesar.dat computed on 475 chunks

使用llama.cpp quantize cae9fb4並結合修改後的[lcpp.patch](https://github.com/city96/ComfyUI - GGUF/blob/main/tools/lcpp.patch)。

動態量化情況

• img_in, guidance_in.in_layer, final_layer.linear：f32/bf16/f16
• guidance_in, final_layer：bf16/f16
• img_attn.qkv, linear1：部分層升兩位
• txt_mod.lin, txt_mlp, txt_attn.proj：部分層降一位

從f16開始的實驗情況

觀察結果

• 更多的重要矩陣（imatrix）數據不一定能帶來更好的量化效果。
• I - 量化可能比相同位數的K - 量化效果差。
• 可參考[量化 - 反量化損失](https://huggingface.co/Eviation/flux - imatrix/blob/main/images/loss_quants.png)

Bravo組合情況

組合了多個512x512的圖像，步數為25和50，使用[city96/flux1 - dev - Q8_0](https://huggingface.co/city96/FLUX.1 - dev - gguf/blob/main/flux1 - dev - Q8_0.gguf)和euler算法。

使用llama.cpp quantize cae9fb4並結合修改後的[lcpp.patch](https://github.com/city96/ComfyUI - GGUF/blob/main/tools/lcpp.patch)。

從f16開始的實驗情況

📄 許可證

本項目使用flux - 1 - dev - non - commercial - license許可證。

⚠️ 重要提示

目前該模型可能存在部分功能故障或不完善的情況，請謹慎使用。