Flux.1 Dev Controlnet Depth

🚀 ⚡ Flux.1-dev: 深度ControlNet ⚡

這是由Jasper研究團隊開發的基於Flux.1-dev的深度圖ControlNet模型，可用於圖像到圖像的轉換任務。

🚀 快速開始

本模型可直接與diffusers庫配合使用。

💻 使用示例

基礎用法

import torch
from diffusers.utils import load_image
from diffusers import FluxControlNetModel
from diffusers.pipelines import FluxControlNetPipeline

# 加載管道
controlnet = FluxControlNetModel.from_pretrained(
  "jasperai/Flux.1-dev-Controlnet-Depth",
  torch_dtype=torch.bfloat16
)
pipe = FluxControlNetPipeline.from_pretrained(
  "black-forest-labs/FLUX.1-dev",
  controlnet=controlnet,
  torch_dtype=torch.bfloat16
)
pipe.to("cuda")

# 加載控制圖像
control_image = load_image(
  "https://huggingface.co/jasperai/Flux.1-dev-Controlnet-Depth/resolve/main/examples/depth.jpg"
)

prompt = "a statue of a gnome in a field of purple tulips"

image = pipe(
    prompt, 
    control_image=control_image,
    controlnet_conditioning_scale=0.6,
    num_inference_steps=28, 
    guidance_scale=3.5,
    height=control_image.size[1],
    width=control_image.size[0]
).images[0]
image

高級用法

💡 注意：你可以使用controlnet_aux庫中的MidasDetector來計算條件圖。

from controlnet_aux import MidasDetector
from diffusers.utils import load_image 

midas = MidasDetector.from_pretrained("lllyasviel/Annotators")

midas.to("cuda")

# 加載圖像
im = load_image(
  "https://huggingface.co/jasperai/Flux.1-dev-Controlnet-Depth/resolve/main/examples/output.jpg"
)

depth = midas(im)

📚 詳細文檔

訓練信息

本模型使用Clipdrop的深度估計模型以及Midas或Leres等開源深度估計模型計算的深度圖進行訓練。

模型信息

📄 許可證

本模型遵循Flux.1-dev許可證。