FLUX.1 Dev ControlNet Depth

🚀 FLUX.1-dev-ControlNet-Depth

このリポジトリには、InstantXチームとShakker Labsの研究者によって共同でトレーニングされた、FLUX.1-devモデル用のDepth ControlNetが含まれています。

🚀 クイックスタート

このリポジトリは、FLUX.1-devモデル用のDepth ControlNetを提供しています。以下のセクションでは、モデルの詳細、推論方法、関連リソースなどについて説明します。

✨ 主な機能

モデル構成

• モデルは4つのFluxTransformerBlockと1つのFluxSingleTransformerBlockで構成されています。

トレーニング情報

• このチェックポイントは、実画像と生成画像の両方のデータセットを使用してトレーニングされています。16A800を使用して70Kステップトレーニングされ、バッチサイズは164 = 64、解像度は1024です。学習率は5e-6に設定されています。Depth-Anything-V2を使用して深度マップを抽出しています。

推奨設定

• 推奨されるcontrolnet_conditioning_scaleは0.3 - 0.7です。

📦 インストール

このREADMEには具体的なインストール手順が記載されていないため、このセクションは省略されます。

💻 使用例

基本的な使用法

import torch
from diffusers.utils import load_image
from diffusers import FluxControlNetPipeline, FluxControlNetModel

base_model = "black-forest-labs/FLUX.1-dev"
controlnet_model = "Shakker-Labs/FLUX.1-dev-ControlNet-Depth"

controlnet = FluxControlNetModel.from_pretrained(controlnet_model, torch_dtype=torch.bfloat16)
pipe = FluxControlNetPipeline.from_pretrained(
    base_model, controlnet=controlnet, torch_dtype=torch.bfloat16
)
pipe.to("cuda")

control_image = load_image("https://huggingface.co/Shakker-Labs/FLUX.1-dev-ControlNet-Depth/resolve/main/assets/cond1.png")
prompt = "an old man with white hair"

image = pipe(prompt,
             control_image=control_image,
             controlnet_conditioning_scale=0.5,
             width=control_image.size[0],
             height=control_image.size[1],
             num_inference_steps=24,
             guidance_scale=3.5,
).images[0]

高度な使用法

複数のControlNetをサポートする場合は、Shakker-Labs/FLUX.1-dev-ControlNet-Union-Proを参照してください。

📚 ドキュメント

モデルの展示

関連リソース

• InstantX/FLUX.1-dev-Controlnet-Canny
• Shakker-Labs/FLUX.1-dev-ControlNet-Depth
• Shakker-Labs/FLUX.1-dev-ControlNet-Union-Pro

謝辞

このプロジェクトはShakker AIによって後援され、リリースされています。すべての著作権は保有されています。

📄 ライセンス

• ライセンス名: flux-1-dev-non-commercial-license
• ライセンスリンク: https://huggingface.co/black-forest-labs/FLUX.1-dev/blob/main/LICENSE.md