FLUX.1 Turbo Alpha

🚀 FLUX.1-Turbo-Alpha

このリポジトリは、AlimamaCreativeチームによってリリースされたFLUX.1-devモデル用の8ステップ蒸留Loraを提供しています。

Readmeの中国語版

🚀 クイックスタート

このモデルは、テキストから画像への変換や、インペインティングControlNetなど、FLUX関連の様々なタスクに使用できます。以下に、使用方法の概要を示します。

✨ 主な機能

• このチェックポイントは、FLUX.1-devモデルをベースに学習された8ステップ蒸留Loraです。
• マルチヘッド識別器を使用して蒸留品質を向上させています。
• テキストから画像への変換(T2I)や、インペインティングControlNetなど、FLUX関連のモデルに使用できます。
• 推奨のguidance_scaleは3.5、lora_scaleは1です。

テキストから画像への変換

インペインティングControlNetとの連携

alimama-creative/FLUX.1-dev-Controlnet-Inpainting-Betaと組み合わせて使用することができます。蒸留LoraはインペインティングControlNetに良好に適応し、加速された生成結果は元の出力によく追従します。

📦 インストール

このモデルは、diffusersライブラリを使用して直接利用することができます。

💻 使用例

基本的な使用法

import torch
from diffusers.pipelines import FluxPipeline

model_id = "black-forest-labs/FLUX.1-dev"
adapter_id = "alimama-creative/FLUX.1-Turbo-Alpha"

pipe = FluxPipeline.from_pretrained(
  model_id,
  torch_dtype=torch.bfloat16
)
pipe.to("cuda")

pipe.load_lora_weights(adapter_id)
pipe.fuse_lora()

prompt = "A DSLR photo of a shiny VW van that has a cityscape painted on it. A smiling sloth stands on grass in front of the van and is wearing a leather jacket, a cowboy hat, a kilt and a bowtie. The sloth is holding a quarterstaff and a big book."
image = pipe(
            prompt=prompt,
            guidance_scale=3.5,
            height=1024,
            width=1024,
            num_inference_steps=8,
            max_sequence_length=512).images[0]

ComfyUIでの使用

• T2Iターボワークフロー: ここをクリック
• インペインティングControlNetターボワークフロー: ここをクリック

🔧 技術詳細

学習データ

このモデルは、100万枚のオープンソースおよび内部ソースの画像を使用して学習されました。画像は、審美度が6.3以上で解像度が800以上のものが選択されています。

学習方法

敵対的学習を使用して品質を向上させています。具体的には、元のFLUX.1-devトランスフォーマーを識別器のバックボーンとして固定し、各トランスフォーマーレイヤーにマルチヘッドを追加しています。学習中はguidance_scaleを3.5に固定し、時間シフトを3としています。

ハイパーパラメータ

📄 ライセンス

このモデルは、flux-1-dev-non-commercial-licenseの下で提供されています。