FLUX.1 Turbo Alpha

🚀 FLUX.1-Turbo-Alpha

本倉庫提供了由阿里媽媽創意團隊發佈的 FLUX.1-dev 模型的8步蒸餾 LoRA。此模型可用於文本到圖像生成、圖像修復控制網絡等與 FLUX 相關的任務。

中文版Readme

🚀 快速開始

本倉庫提供了由阿里媽媽創意團隊發佈的 FLUX.1-dev 模型的8步蒸餾 LoRA。

✨ 主要特性

此檢查點是一個8步蒸餾 LoRA，基於 FLUX.1-dev 模型進行訓練。我們使用多頭鑑別器來提高蒸餾質量。我們的模型可用於文本到圖像生成、圖像修復控制網絡和其他與 FLUX 相關的模型。推薦的 guidance_scale 為3.5，lora_scale 為1。我們的低步數版本將在稍後發佈。

• 文本到圖像生成

• 與 alimama-creative/FLUX.1-dev-Controlnet-Inpainting-Beta 結合使用 我們的蒸餾 LoRA 可以很好地適應圖像修復控制網絡，加速生成的效果能夠很好地遵循原始輸出。

💻 使用示例

基礎用法

此模型可以直接與 diffusers 庫一起使用。

import torch
from diffusers.pipelines import FluxPipeline

model_id = "black-forest-labs/FLUX.1-dev"
adapter_id = "alimama-creative/FLUX.1-Turbo-Alpha"

pipe = FluxPipeline.from_pretrained(
  model_id,
  torch_dtype=torch.bfloat16
)
pipe.to("cuda")

pipe.load_lora_weights(adapter_id)
pipe.fuse_lora()

prompt = "A DSLR photo of a shiny VW van that has a cityscape painted on it. A smiling sloth stands on grass in front of the van and is wearing a leather jacket, a cowboy hat, a kilt and a bowtie. The sloth is holding a quarterstaff and a big book."
image = pipe(
            prompt=prompt,
            guidance_scale=3.5,
            height=1024,
            width=1024,
            num_inference_steps=8,
            max_sequence_length=512).images[0]

高級用法

• T2I turbo 工作流：點擊此處
• 圖像修復控制網絡 turbo 工作流：點擊此處

🔧 技術細節

該模型在100萬張開源和內部來源的圖像上進行訓練，這些圖像的美學評分在6.3以上，分辨率大於800。我們使用對抗訓練來提高質量。我們的方法將原始的 FLUX.1-dev 變換器固定為鑑別器骨幹，並在每個變換器層添加多頭。在訓練期間，我們將 guidance_scale 固定為3.5，並使用時間偏移3。

• 混合精度：bf16
• 學習率：2e-5
• 批量大小：64
• 圖像大小：1024x1024

📄 許可證

• 許可證類型：other
• 許可證名稱：flux-1-dev-non-commercial-license
• 許可證鏈接：https://huggingface.co/black-forest-labs/FLUX.1-dev/blob/main/LICENSE.md