T2iadapter Depth Sd15v2

🚀 T2I Adapter - Depth

T2I Adapter是一個為Stable Diffusion提供額外條件的網絡。每個T2I檢查點接受不同類型的條件作為輸入，並與特定的基礎Stable Diffusion檢查點一起使用。此檢查點為Stable Diffusion 1.5檢查點提供深度條件。

✨ 主要特性

• 為Stable Diffusion提供額外的深度條件。
• 不同的T2I檢查點可接受不同類型的條件輸入。

📦 安裝指南

依賴安裝

pip install diffusers transformers controlnet_aux

💻 使用示例

基礎用法

from controlnet_aux import MidasDetector
from PIL import Image
from diffusers import T2IAdapter, StableDiffusionAdapterPipeline
import torch

midas = MidasDetector.from_pretrained("lllyasviel/Annotators")

image = Image.open('./images/depth_input.png')

image = midas(image)

image.save('./images/depth.png')

adapter = T2IAdapter.from_pretrained("TencentARC/t2iadapter_depth_sd15v2", torch_dtype=torch.float16)
pipe = StableDiffusionAdapterPipeline.from_pretrained(
    "runwayml/stable-diffusion-v1-5", adapter=adapter, safety_checker=None, torch_dtype=torch.float16, variant="fp16"
)

pipe.to('cuda')

generator = torch.Generator().manual_seed(1)

depth_out = pipe(prompt="storm trooper giving a speech", image=image, generator=generator).images[0]

depth_out.save('./images/depth_output.png')

示例圖片

📚 詳細文檔

模型詳情

檢查點

模型名稱	控制圖像概述	控制圖像示例	生成圖像示例
TencentARC/t2iadapter_color_sd14v1 使用空間調色板訓練	帶有8x8調色板的圖像。
TencentARC/t2iadapter_canny_sd14v1 使用Canny邊緣檢測訓練	黑色背景上帶有白色邊緣的單色圖像。
TencentARC/t2iadapter_sketch_sd14v1 使用PidiNet邊緣檢測訓練	黑色背景上帶有白色輪廓的手繪單色圖像。
TencentARC/t2iadapter_depth_sd14v1 使用Midas深度估計訓練	黑色代表深區域，白色代表淺區域的灰度圖像。
TencentARC/t2iadapter_openpose_sd14v1 使用OpenPose骨骼圖像訓練	OpenPose骨骼圖像。
TencentARC/t2iadapter_keypose_sd14v1 使用mmpose骨架圖像訓練	mmpose骨架圖像。
TencentARC/t2iadapter_seg_sd14v1 使用語義分割訓練	自定義分割協議圖像。
TencentARC/t2iadapter_canny_sd15v2
TencentARC/t2iadapter_depth_sd15v2
TencentARC/t2iadapter_sketch_sd15v2
TencentARC/t2iadapter_zoedepth_sd15v1

📄 許可證

本模型使用Apache 2.0許可證。