FLUX.1 Lite GGUF

🚀 Flux.1 Lite

Flux.1 Lite是一款從FLUX.1 - dev模型中提煉出來的80億參數的Transformer模型。與原模型相比，它能節省7GB的內存，運行速度提升23%，同時還能保持相同的精度（bfloat16）。

🚀 快速開始

環境要求

本模型僅由 gpustack/llama - box v0.0.84+ 提供實驗性支持。

模型信息

• 模型創建者：Freepik
• 原始模型：[flux.1 - lite - 8B - alpha](https://huggingface.co/Freepik/flux.1 - lite - 8B - alpha)
• GGUF量化：基於由llama - box打補丁的stable - diffusion.cpp [ac54e](https://github.com/leejet/stable - diffusion.cpp/commit/ac54e0076052a196b7df961eb1f792c9ff4d7f22)

量化信息

模型示例圖


✨ 主要特性

文本到圖像轉換

Flux.1 Lite能夠將文本描述轉化為圖像，為用戶帶來豐富的創意體驗。為了獲得最佳效果，強烈建議使用 guidance_scale 為3.5，並將 n_steps 設置在22到30之間。

性能優化

相比原模型，Flux.1 Lite使用的內存更少，運行速度更快，同時保持了相同的精度。

💻 使用示例

基礎用法

import torch
from diffusers import FluxPipeline

base_model_id = "Freepik/flux.1-lite-8B-alpha"
torch_dtype = torch.bfloat16
device = "cuda"

# Load the pipe
model_id = "Freepik/flux.1-lite-8B-alpha"
pipe = FluxPipeline.from_pretrained(
    model_id, torch_dtype=torch_dtype
).to(device)

# Inference
prompt = "A close-up image of a green alien with fluorescent skin in the middle of a dark purple forest"

guidance_scale = 3.5  # Keep guidance_scale at 3.5
n_steps = 28
seed = 11

with torch.inference_mode():
    image = pipe(
        prompt=prompt,
        generator=torch.Generator(device="cpu").manual_seed(seed),
        num_inference_steps=n_steps,
        guidance_scale=guidance_scale,
        height=1024,
        width=1024,
    ).images[0]
image.save("output.png")

🔧 技術細節

動機

受 [Ostris](https://ostris.com/2024/09/07/skipping - flux - 1 - dev - blocks/) 研究結果的啟發，我們分析了每個塊的輸入和輸出之間的均方誤差（MSE），以量化它們對最終結果的貢獻，結果顯示出顯著的差異。

塊貢獻分析

並非所有塊的貢獻都是相等的。跳過早期的MMDiT或後期的DiT塊中的任何一個都會顯著影響模型性能，而跳過中間的任何單個塊對最終圖像質量沒有顯著影響。

示例圖

📚 詳細文檔

未來工作

我們的目標是進一步提煉FLUX.1 - dev，使其能夠在24GB消費級GPU卡上平穩運行，保持其原始精度（bfloat16），並提高運行速度，讓每個人都能使用高質量的AI模型。

ComfyUI支持

我們還創建了一個ComfyUI工作流，使Flux.1 Lite的使用更加無縫！可以在 comfy/flux.1 - lite_workflow.json 中找到它。 

檢查點文件

safetensors檢查點文件可在此處獲取：[flux.1 - lite - 8B - alpha.safetensors](flux.1 - lite - 8B - alpha.safetensors)

Hugging Face空間

感謝 TheAwakenOne，你也可以在 [Flux.1 Lite HF空間](https://huggingface.co/spaces/TheAwakenOne/flux1 - lite - 8B - alpha) 上測試該模型。

Freepik試用

我們的 [AI生成器](https://www.freepik.com/pikaso/ai - image - generator) 現在由Flux.1 Lite提供支持！

最新消息

• 2024年10月28日：Flux.1 Lite 8B Alpha的HF空間在 [HF Space](https://huggingface.co/spaces/TheAwakenOne/flux1 - lite - 8B - alpha) 上可用。
• 2024年10月23日：8B的Alpha檢查點在 [HuggingFace倉庫](https://huggingface.co/Freepik/flux.1 - lite - 8B - alpha) 上公開可用。

📄 許可證

引用

如果您覺得我們的工作有幫助，請引用：

@article{flux1-lite,
  title={Flux.1 Lite: Distilling Flux1.dev for Efficient Text-to-Image Generation},
  author={Daniel Verdú, Javier Martín},
  email={dverdu@freepik.com, javier.martin@freepik.com},
  year={2024},
}

歸屬聲明

FLUX.1 [dev] 模型由Black Forest Labs. Inc.根據FLUX.1 [dev] 非商業許可證授權。版權歸Black Forest Labs. Inc.所有。我們的模型權重根據FLUX.1 [dev] 非商業許可證發佈。