T2iadapter Canny Sd15v2

🚀 T2I Adapter - Canny

T2I Adapter是一個為Stable Diffusion提供額外條件的網絡。每個T2I檢查點接受不同類型的條件作為輸入，並與特定的基礎Stable Diffusion檢查點一起使用。

此檢查點為Stable Diffusion 1.5檢查點提供Canny邊緣條件。

📚 詳細文檔

模型詳情

• 開發者：《T2I-Adapter: Learning Adapters to Dig out More Controllable Ability for Text-to-Image Diffusion Models》

• 模型類型：基於擴散的文本到圖像生成模型

• 語言：英語

• 許可證：Apache 2.0

• 更多信息資源：GitHub倉庫，論文。

• 引用格式：

  @misc{ title={T2I-Adapter: Learning Adapters to Dig out More Controllable Ability for Text-to-Image Diffusion Models}, author={Chong Mou, Xintao Wang, Liangbin Xie, Yanze Wu, Jian Zhang, Zhongang Qi, Ying Shan, Xiaohu Qie}, year={2023}, eprint={2302.08453}, archivePrefix={arXiv}, primaryClass={cs.CV} }

檢查點

模型名稱	控制圖像概述	控制圖像示例	生成圖像示例
TencentARC/t2iadapter_color_sd14v1 使用空間調色板訓練	具有8x8調色板的圖像。
TencentARC/t2iadapter_canny_sd14v1 使用Canny邊緣檢測訓練	黑色背景上帶有白色邊緣的單色圖像。
TencentARC/t2iadapter_sketch_sd14v1 使用PidiNet邊緣檢測訓練	黑色背景上帶有白色輪廓的手繪單色圖像。
TencentARC/t2iadapter_depth_sd14v1 使用Midas深度估計訓練	黑色代表深區域、白色代表淺區域的灰度圖像。
TencentARC/t2iadapter_openpose_sd14v1 使用OpenPose骨骼圖像訓練	OpenPose骨骼圖像。
TencentARC/t2iadapter_keypose_sd14v1 使用mmpose骨架圖像訓練	mmpose骨架圖像。
TencentARC/t2iadapter_seg_sd14v1 使用語義分割訓練	自定義分割協議圖像。
TencentARC/t2iadapter_canny_sd15v2
TencentARC/t2iadapter_depth_sd15v2
TencentARC/t2iadapter_sketch_sd15v2
TencentARC/t2iadapter_zoedepth_sd15v1

📦 安裝指南

依賴項

pip install diffusers transformers opencv-contrib-python

💻 使用示例

基礎用法

import cv2
from PIL import Image
import torch
import numpy as np
from diffusers import T2IAdapter, StableDiffusionAdapterPipeline

image = Image.open('./images/canny_input.png')
image = np.array(image)

low_threshold = 100
high_threshold = 200

image = cv2.Canny(image, low_threshold, high_threshold)
image = Image.fromarray(image)

image.save('./images/canny.png')

adapter = T2IAdapter.from_pretrained("TencentARC/t2iadapter_canny_sd15v2", torch_dtype=torch.float16)
pipe = StableDiffusionAdapterPipeline.from_pretrained(
    "runwayml/stable-diffusion-v1-5",
    adapter=adapter,
    torch_dtype=torch.float16,
)
pipe.to("cuda")

generator = torch.manual_seed(0)

out_image = pipe(
    "a rabbit wearing glasses",
    image=image,
    generator=generator,
).images[0]

out_image.save('./images/canny_out.png')

📄 許可證

本項目採用Apache 2.0許可證。