許可證: 其他 許可證名稱: flux-1-dev-非商業許可證 許可證鏈接: https://huggingface.co/black-forest-labs/FLUX.1-dev/blob/main/LICENSE.md

語言:

• 英文 庫名稱: diffusers 管道標籤: 文本生成圖像

標籤:

• 文本生成圖像
• ControlNet
• Diffusers
• Flux.1-dev
• 圖像生成
• Stable Diffusion 基礎模型: black-forest-labs/FLUX.1-dev

FLUX.1-dev-ControlNet-深度控制模型

本倉庫包含由InstantX團隊和Shakker實驗室聯合研發的FLUX.1-dev深度控制網絡。

模型卡片

• 該模型由4個FluxTransformerBlock和1個FluxSingleTransformerBlock組成
• 本檢查點在真實與生成圖像數據集上聯合訓練，使用16A800顯卡進行70K步訓練。批處理大小為164=64，分辨率為1024。學習率設置為5e-6。我們採用Depth-Anything-V2提取深度圖
• 推薦controlnet_conditioning_scale參數範圍為0.3-0.7

效果展示

推理示例

import torch
from diffusers.utils import load_image
from diffusers import FluxControlNetPipeline, FluxControlNetModel

基礎模型 = "black-forest-labs/FLUX.1-dev"
控制網絡模型 = "Shakker-Labs/FLUX.1-dev-ControlNet-Depth"

controlnet = FluxControlNetModel.from_pretrained(控制網絡模型, torch_dtype=torch.bfloat16)
pipe = FluxControlNetPipeline.from_pretrained(
    基礎模型, controlnet=controlnet, torch_dtype=torch.bfloat16
)
pipe.to("cuda")

控制圖像 = load_image("https://huggingface.co/Shakker-Labs/FLUX.1-dev-ControlNet-Depth/resolve/main/assets/cond1.png")
提示詞 = "白髮蒼蒼的老人"

生成圖像 = pipe(提示詞,
             控制圖像=控制圖像,
             controlnet_conditioning_scale=0.5,
             寬度=控制圖像.size[0],
             高度=控制圖像.size[1],
             推理步數=24,
             引導係數=3.5,
).images[0]

如需多控制網絡支持，請參考Shakker-Labs/FLUX.1-dev-ControlNet-Union-Pro。

相關資源

• InstantX/FLUX.1-dev-Controlnet-Canny
• Shakker-Labs/FLUX.1-dev-ControlNet-Depth
• Shakker-Labs/FLUX.1-dev-ControlNet-Union-Pro

致謝

本項目由Shakker AI贊助發佈，保留所有版權。