Flux Imatrix

🚀 FLUX.1-dev テキストから画像への変換モデル

このプロジェクトは、black-forest-labs/FLUX.1-dev ベースモデルを基に、gguf ライブラリを利用してテキストから画像への変換機能を実現しています。

📚 詳細ドキュメント

対応状況

現在、このモデルには一部の機能障害や不完全な部分が存在する可能性がありますので、ご利用には注意してください。

• ComfyUI - GGUF：
  • 高速逆量子化：BF16、Q8_0、Q5_1、Q5_0、Q4_1、Q4_0、Q6_K、Q5_K、Q4_K、Q3_K、Q2_K をサポートしています。
  • 低速逆量子化：その他のタイプは [GGUF/NumPy](https://github.com/city96/ComfyUI-GGUF/blob/379175e7bf8b65019cdd11108bb882120a6f17df/dequant.py#L24 - L28) を通じて実現できます。
• Forge：対応状況は未定です。
• stable - diffusion.cpp：[llama.cpp Feature - matrix](https://github.com/ggerganov/llama.cpp/wiki/Feature - matrix) を参照してください。
  • CPU：全ての機能をサポートしています。
  • Cuda：全ての機能をサポートする可能性があります。
  • Vulkan：>= Q3_K_S、> IQ4_S をサポートしています。関連 PR：PR IQ1_S, IQ1_M PR IQ4_XS
  • その他：対応状況は不明です。

Disco 動的量子化状況

• time_in.in_layer：Q8_0/Q6_K
• final_layer, vector_in.in_layer, guidance_in：Q8_0
• vector_in.out_layer, time_in.out_layer, txt_in, img_in：F16
• single_blocks.[> 10 && < 37].modulation.lin：1 ビット下げる可能性があります。

Caesar 組み合わせ状況

複数の 512x512 と 768x768 の画像を組み合わせ、ステップ数を 25、30、50 とし、[city96/flux1 - dev - Q8_0](https://huggingface.co/city96/FLUX.1 - dev - gguf/blob/main/flux1 - dev - Q8_0.gguf) と euler アルゴリズムを使用しています。

データ：load_imatrix: loaded 314 importance matrix entries from imatrix_caesar.dat computed on 475 chunks

llama.cpp quantize cae9fb4 を使用し、修正版の [lcpp.patch](https://github.com/city96/ComfyUI - GGUF/blob/main/tools/lcpp.patch) を組み合わせています。

動的量子化状況

• img_in, guidance_in.in_layer, final_layer.linear：f32/bf16/f16
• guidance_in, final_layer：bf16/f16
• img_attn.qkv, linear1：一部のレイヤーで 2 ビット上げます。
• txt_mod.lin, txt_mlp, txt_attn.proj：一部のレイヤーで 1 ビット下げます。

f16 から始める実験状況

観察結果

• より多くの重要行列（imatrix）データが必ずしも良好な量子化結果をもたらすとは限りません。
• I - 量子化は同じビット数の K - 量子化よりも性能が劣る可能性があります。
• [量子化 - 逆量子化損失](https://huggingface.co/Eviation/flux - imatrix/blob/main/images/loss_quants.png) を参照してください。

Bravo 組み合わせ状況

複数の 512x512 の画像を組み合わせ、ステップ数を 25 と 50 とし、[city96/flux1 - dev - Q8_0](https://huggingface.co/city96/FLUX.1 - dev - gguf/blob/main/flux1 - dev - Q8_0.gguf) と euler アルゴリズムを使用しています。

llama.cpp quantize cae9fb4 を使用し、修正版の [lcpp.patch](https://github.com/city96/ComfyUI - GGUF/blob/main/tools/lcpp.patch) を組み合わせています。

f16 から始める実験状況

📄 ライセンス

このプロジェクトは flux - 1 - dev - non - commercial - license ライセンスを使用しています。

⚠️ 重要な注意事項

現在、このモデルには一部の機能障害や不完全な部分が存在する可能性がありますので、ご利用には注意してください。