模型概述

該模型是一個ControlNet模型，專門用於處理表面法線地圖，可與Flux.1-dev基礎模型配合使用，實現基於表面法線控制的圖像生成。

模型特點

表面法線控制

能夠根據表面法線地圖精確控制圖像生成，保持幾何結構一致性

與Flux.1-dev集成

專為Flux.1-dev基礎模型設計，可無縫集成使用

高質量圖像生成

生成結果保持高質量的視覺效果和結構準確性

模型能力

基於表面法線的圖像生成

圖像到圖像轉換

幾何結構保持

使用案例

創意設計

概念藝術創作

利用表面法線控制生成具有特定幾何結構的概念藝術作品

生成符合預期幾何結構的創意圖像

產品設計

產品原型可視化

基於表面法線快速生成產品原型的不同視角渲染圖

快速獲得產品設計的可視化效果

基礎模型:

black-forest-labs/FLUX.1-dev 庫名稱: diffusers 許可證名稱: flux-1-dev-non-commercial-license 許可證鏈接: https://huggingface.co/black-forest-labs/FLUX.1-dev/blob/main/LICENSE.md 管道標籤: 圖像到圖像推理: 否標籤:
ControlNet 許可證: 其他

⚡ Flux.1-dev: 表面法線ControlNet ⚡

這是由Jasper研究團隊開發的Flux.1-dev表面法線地圖ControlNet。

使用方法

該模型可直接與diffusers庫一起使用

import torch
from diffusers.utils import load_image
from diffusers import FluxControlNetModel
from diffusers.pipelines import FluxControlNetPipeline

# 加載管道
controlnet = FluxControlNetModel.from_pretrained(
  "jasperai/Flux.1-dev-Controlnet-Surface-Normals",
  torch_dtype=torch.bfloat16
)
pipe = FluxControlNetPipeline.from_pretrained(
  "black-forest-labs/FLUX.1-dev",
  controlnet=controlnet,
  torch_dtype=torch.bfloat16
)
pipe.to("cuda")

# 加載控制圖像
control_image = load_image(
  "https://huggingface.co/jasperai/Flux.1-dev-Controlnet-Surface-Normals/resolve/main/examples/surface.jpg"
)

prompt = "窗前舉著停止標誌的男人"

image = pipe(
    prompt, 
    control_image=control_image,
    controlnet_conditioning_scale=0.6,
    num_inference_steps=28, 
    guidance_scale=3.5,
    height=control_image.size[1],
    width=control_image.size[0]
).images[0]
image

💡 注意: 您可以使用controlnet_aux庫中的NormalBaeDetector計算條件映射

from controlnet_aux import NormalBaeDetector
from diffusers.utils import load_image 

normal_bae = NormalBaeDetector.from_pretrained("lllyasviel/Annotators")

normal_bae.to("cuda")

# 加載圖像
im = load_image(
  "https://huggingface.co/jasperai/Flux.1-dev-Controlnet-Surface-Normals/resolve/main/examples/output.jpg"
)

surface = normal_bae(im)