T2iadapter Depth Sd15v2

🚀 T2I Adapter - Depth

T2I Adapter是一个为Stable Diffusion提供额外条件的网络。每个T2I检查点接受不同类型的条件作为输入，并与特定的基础Stable Diffusion检查点一起使用。此检查点为Stable Diffusion 1.5检查点提供深度条件。

✨ 主要特性

• 为Stable Diffusion提供额外的深度条件。
• 不同的T2I检查点可接受不同类型的条件输入。

📦 安装指南

依赖安装

pip install diffusers transformers controlnet_aux

💻 使用示例

基础用法

from controlnet_aux import MidasDetector
from PIL import Image
from diffusers import T2IAdapter, StableDiffusionAdapterPipeline
import torch

midas = MidasDetector.from_pretrained("lllyasviel/Annotators")

image = Image.open('./images/depth_input.png')

image = midas(image)

image.save('./images/depth.png')

adapter = T2IAdapter.from_pretrained("TencentARC/t2iadapter_depth_sd15v2", torch_dtype=torch.float16)
pipe = StableDiffusionAdapterPipeline.from_pretrained(
    "runwayml/stable-diffusion-v1-5", adapter=adapter, safety_checker=None, torch_dtype=torch.float16, variant="fp16"
)

pipe.to('cuda')

generator = torch.Generator().manual_seed(1)

depth_out = pipe(prompt="storm trooper giving a speech", image=image, generator=generator).images[0]

depth_out.save('./images/depth_output.png')

示例图片

📚 详细文档

模型详情

检查点

模型名称	控制图像概述	控制图像示例	生成图像示例
TencentARC/t2iadapter_color_sd14v1 使用空间调色板训练	带有8x8调色板的图像。
TencentARC/t2iadapter_canny_sd14v1 使用Canny边缘检测训练	黑色背景上带有白色边缘的单色图像。
TencentARC/t2iadapter_sketch_sd14v1 使用PidiNet边缘检测训练	黑色背景上带有白色轮廓的手绘单色图像。
TencentARC/t2iadapter_depth_sd14v1 使用Midas深度估计训练	黑色代表深区域，白色代表浅区域的灰度图像。
TencentARC/t2iadapter_openpose_sd14v1 使用OpenPose骨骼图像训练	OpenPose骨骼图像。
TencentARC/t2iadapter_keypose_sd14v1 使用mmpose骨架图像训练	mmpose骨架图像。
TencentARC/t2iadapter_seg_sd14v1 使用语义分割训练	自定义分割协议图像。
TencentARC/t2iadapter_canny_sd15v2
TencentARC/t2iadapter_depth_sd15v2
TencentARC/t2iadapter_sketch_sd15v2
TencentARC/t2iadapter_zoedepth_sd15v1

📄 许可证

本模型使用Apache 2.0许可证。