Flux.1 Lite 8B Alpha

🚀 Flux.1 Lite

我们非常激动地宣布 Flux.1 Lite 的 alpha 版本发布！这是一个从 FLUX.1-dev 模型中提炼出来的 80 亿参数的变换器模型。此版本比原模型少占用 7GB 的内存，运行速度快 23%，同时保持了与原模型相同的精度（bfloat16）。

🚀 快速开始

文本转图像

Flux.1 Lite 能充分释放你的创造力！为获得最佳效果，我们强烈建议使用 guidance_scale 为 3.5，并将 n_steps 设置在 22 到 30 之间。

import torch
from diffusers import FluxPipeline

base_model_id = "Freepik/flux.1-lite-8B-alpha"
torch_dtype = torch.bfloat16
device = "cuda"

# Load the pipe
model_id = "Freepik/flux.1-lite-8B-alpha"
pipe = FluxPipeline.from_pretrained(
    model_id, torch_dtype=torch_dtype
).to(device)

# Inference
prompt = "A close-up image of a green alien with fluorescent skin in the middle of a dark purple forest"

guidance_scale = 3.5  # Keep guidance_scale at 3.5
n_steps = 28
seed = 11

with torch.inference_mode():
    image = pipe(
        prompt=prompt,
        generator=torch.Generator(device="cpu").manual_seed(seed),
        num_inference_steps=n_steps,
        guidance_scale=guidance_scale,
        height=1024,
        width=1024,
    ).images[0]
image.save("output.png")

✨ 主要特性

设计动机

受 Ostris 研究结果的启发，我们分析了每个块的输入和输出之间的均方误差（MSE），以量化它们对最终结果的贡献，结果显示出显著的差异。

正如 Ostris 所指出的，并非所有块的贡献都是相等的。虽然跳过早期的 MMDiT 或后期的 DiT 块中的任何一个都会显著影响模型性能，但跳过中间的任何单个块对最终图像质量没有显著影响。

未来工作

请持续关注！我们的目标是进一步提炼 FLUX.1-dev，使其能够在 24GB 消费级 GPU 卡上平稳运行，同时保持其原始精度（bfloat16），并提高运行速度，让每个人都能使用高质量的 AI 模型。

ComfyUI 支持

我们还精心设计了一个 ComfyUI 工作流，让使用 Flux.1 Lite 更加顺畅！你可以在 comfy/flux.1-lite_workflow.json 中找到它。

HF spaces 🤗

感谢 TheAwakenOne，你也可以在 Flux.1 Lite HF space 上测试该模型。

在 Freepik 上试用

我们的 AI 生成器 现在由 Flux.1 Lite 提供支持！

🔥 最新消息 🔥

• 2024 年 12 月 30 日，Flux.1 Lite 8B 新训练的模型在 HuggingFace 仓库 上公开可用。
• 2024 年 10 月 28 日，得益于 TheAwakenOne，Flux.1 Lite 8B Alpha 的 HF 空间在 HF Space 上可用。
• 2024 年 10 月 23 日，Alpha 8B 检查点在 HuggingFace 仓库 上公开可用。

📄 许可证

引用说明

如果您觉得我们的工作有帮助，请引用它！

@article{flux1-lite,
  title={Flux.1 Lite: Distilling Flux1.dev for Efficient Text-to-Image Generation},
  author={Daniel Verdú, Javier Martín},
  email={dverdu@freepik.com, javier.martin@freepik.com},
  year={2024},
}

归属声明

FLUX.1 [dev] 模型由 Black Forest Labs. Inc. 根据 FLUX.1 [dev] 非商业许可证授权。版权归 Black Forest Labs. Inc. 所有。

我们的模型权重根据 FLUX.1 [dev] 非商业许可证发布。

其他信息

safetensors 检查点可在此处获取：flux.1-lite-8B-alpha.safetensors