Flux.1 Lite 8B Alpha

🚀 Flux.1 Lite

我們非常激動地宣佈 Flux.1 Lite 的 alpha 版本發佈！這是一個從 FLUX.1-dev 模型中提煉出來的 80 億參數的變換器模型。此版本比原模型少佔用 7GB 的內存，運行速度快 23%，同時保持了與原模型相同的精度（bfloat16）。

🚀 快速開始

文本轉圖像

Flux.1 Lite 能充分釋放你的創造力！為獲得最佳效果，我們強烈建議使用 guidance_scale 為 3.5，並將 n_steps 設置在 22 到 30 之間。

import torch
from diffusers import FluxPipeline

base_model_id = "Freepik/flux.1-lite-8B-alpha"
torch_dtype = torch.bfloat16
device = "cuda"

# Load the pipe
model_id = "Freepik/flux.1-lite-8B-alpha"
pipe = FluxPipeline.from_pretrained(
    model_id, torch_dtype=torch_dtype
).to(device)

# Inference
prompt = "A close-up image of a green alien with fluorescent skin in the middle of a dark purple forest"

guidance_scale = 3.5  # Keep guidance_scale at 3.5
n_steps = 28
seed = 11

with torch.inference_mode():
    image = pipe(
        prompt=prompt,
        generator=torch.Generator(device="cpu").manual_seed(seed),
        num_inference_steps=n_steps,
        guidance_scale=guidance_scale,
        height=1024,
        width=1024,
    ).images[0]
image.save("output.png")

✨ 主要特性

設計動機

受 Ostris 研究結果的啟發，我們分析了每個塊的輸入和輸出之間的均方誤差（MSE），以量化它們對最終結果的貢獻，結果顯示出顯著的差異。

正如 Ostris 所指出的，並非所有塊的貢獻都是相等的。雖然跳過早期的 MMDiT 或後期的 DiT 塊中的任何一個都會顯著影響模型性能，但跳過中間的任何單個塊對最終圖像質量沒有顯著影響。

未來工作

請持續關注！我們的目標是進一步提煉 FLUX.1-dev，使其能夠在 24GB 消費級 GPU 卡上平穩運行，同時保持其原始精度（bfloat16），並提高運行速度，讓每個人都能使用高質量的 AI 模型。

ComfyUI 支持

我們還精心設計了一個 ComfyUI 工作流，讓使用 Flux.1 Lite 更加順暢！你可以在 comfy/flux.1-lite_workflow.json 中找到它。

HF spaces 🤗

感謝 TheAwakenOne，你也可以在 Flux.1 Lite HF space 上測試該模型。

在 Freepik 上試用

我們的 AI 生成器 現在由 Flux.1 Lite 提供支持！

🔥 最新消息 🔥

• 2024 年 12 月 30 日，Flux.1 Lite 8B 新訓練的模型在 HuggingFace 倉庫 上公開可用。
• 2024 年 10 月 28 日，得益於 TheAwakenOne，Flux.1 Lite 8B Alpha 的 HF 空間在 HF Space 上可用。
• 2024 年 10 月 23 日，Alpha 8B 檢查點在 HuggingFace 倉庫 上公開可用。

📄 許可證

引用說明

如果您覺得我們的工作有幫助，請引用它！

@article{flux1-lite,
  title={Flux.1 Lite: Distilling Flux1.dev for Efficient Text-to-Image Generation},
  author={Daniel Verdú, Javier Martín},
  email={dverdu@freepik.com, javier.martin@freepik.com},
  year={2024},
}

歸屬聲明

FLUX.1 [dev] 模型由 Black Forest Labs. Inc. 根據 FLUX.1 [dev] 非商業許可證授權。版權歸 Black Forest Labs. Inc. 所有。

我們的模型權重根據 FLUX.1 [dev] 非商業許可證發佈。

其他信息

safetensors 檢查點可在此處獲取：flux.1-lite-8B-alpha.safetensors