Flux Imatrix

🚀 FLUX.1-dev文本到图像模型

本项目基于black-forest-labs/FLUX.1-dev基础模型，利用gguf库实现文本到图像的转换功能。

📚 详细文档

支持情况

目前该模型可能存在部分功能故障或不完善的情况，请谨慎使用。

• ComfyUI - GGUF：
  • 快速反量化：支持BF16、Q8_0、Q5_1、Q5_0、Q4_1、Q4_0、Q6_K、Q5_K、Q4_K、Q3_K、Q2_K。
  • 慢速反量化：其他类型可通过[GGUF/NumPy](https://github.com/city96/ComfyUI-GGUF/blob/379175e7bf8b65019cdd11108bb882120a6f17df/dequant.py#L24 - L28)实现。
• Forge：支持情况待定。
• stable - diffusion.cpp：可参考[llama.cpp Feature - matrix](https://github.com/ggerganov/llama.cpp/wiki/Feature - matrix)。
  • CPU：全支持。
  • Cuda：可能全支持。
  • Vulkan：支持>= Q3_K_S、> IQ4_S；相关PR：PR IQ1_S, IQ1_M PR IQ4_XS
  • 其他：支持情况未知。

Disco动态量化情况

• time_in.in_layer：Q8_0/Q6_K
• final_layer, vector_in.in_layer, guidance_in：Q8_0
• vector_in.out_layer, time_in.out_layer, txt_in, img_in：F16
• single_blocks.[> 10 && < 37].modulation.lin：可能降一位

Caesar组合情况

组合了多个512x512和768x768的图像，步数为25、30和50，使用[city96/flux1 - dev - Q8_0](https://huggingface.co/city96/FLUX.1 - dev - gguf/blob/main/flux1 - dev - Q8_0.gguf)和euler算法。

数据：load_imatrix: loaded 314 importance matrix entries from imatrix_caesar.dat computed on 475 chunks

使用llama.cpp quantize cae9fb4并结合修改后的[lcpp.patch](https://github.com/city96/ComfyUI - GGUF/blob/main/tools/lcpp.patch)。

动态量化情况

• img_in, guidance_in.in_layer, final_layer.linear：f32/bf16/f16
• guidance_in, final_layer：bf16/f16
• img_attn.qkv, linear1：部分层升两位
• txt_mod.lin, txt_mlp, txt_attn.proj：部分层降一位

从f16开始的实验情况

观察结果

• 更多的重要矩阵（imatrix）数据不一定能带来更好的量化效果。
• I - 量化可能比相同位数的K - 量化效果差。
• 可参考[量化 - 反量化损失](https://huggingface.co/Eviation/flux - imatrix/blob/main/images/loss_quants.png)

Bravo组合情况

组合了多个512x512的图像，步数为25和50，使用[city96/flux1 - dev - Q8_0](https://huggingface.co/city96/FLUX.1 - dev - gguf/blob/main/flux1 - dev - Q8_0.gguf)和euler算法。

使用llama.cpp quantize cae9fb4并结合修改后的[lcpp.patch](https://github.com/city96/ComfyUI - GGUF/blob/main/tools/lcpp.patch)。

从f16开始的实验情况

📄 许可证

本项目使用flux - 1 - dev - non - commercial - license许可证。

⚠️ 重要提示

目前该模型可能存在部分功能故障或不完善的情况，请谨慎使用。