t2iadapter_color_sd14v1開源調色工具 - 為穩定擴散1.4版提供色彩控制

首頁

T2iadapter Color Sd14v1

由TencentARC開發

T2I適配器是為穩定擴散模型提供額外條件控制的網絡，本檢查點專為穩定擴散1.4版本提供基於調色板的色彩控制功能。

圖像生成其他開源協議:Apache-2.0 #調色板控制 #色彩引導生成 #SD1.4適配

下載量 50

發布時間 : 7/14/2023

模型概述

T2I適配器是一種為穩定擴散模型提供額外條件控制的網絡，本檢查點專為穩定擴散1.4版本提供基於調色板的色彩控制功能。

模型特點

色彩控制

通過8x8調色板提供精確的色彩控制，生成圖像的顏色分佈與調色板一致。

輕量適配器

作為輕量級適配器網絡，可以在不修改原始穩定擴散模型的情況下增加控制功能。

多條件支持

支持多種控制條件（色彩、邊緣、深度等），可與不同基礎模型配合使用。

模型能力

基於調色板的圖像生成

色彩控制圖像合成

條件式圖像生成

使用案例

藝術創作

色彩風格化

根據特定調色板生成風格一致的圖像作品

生成圖像的顏色分佈與輸入調色板完全匹配

設計輔助

品牌視覺設計

基於企業品牌色彩生成視覺元素

確保生成圖像符合品牌色彩規範

🚀 T2I Adapter - 顏色

T2I Adapter是一個為穩定擴散模型提供額外條件控制的網絡。每個T2I檢查點接受不同類型的條件作為輸入，並與特定的基礎穩定擴散檢查點一起使用。

此檢查點為穩定擴散1.4檢查點提供了基於調色板的條件控制。

🚀 快速開始

依賴安裝

pip install diffusers transformers

運行代碼

from PIL import Image
import torch
from diffusers import StableDiffusionAdapterPipeline, T2IAdapter

image = Image.open('./images/color_ref.png')

color_palette = image.resize((8, 8))
color_palette = color_palette.resize((512, 512), resample=Image.Resampling.NEAREST)

color_palette.save('./images/color_palette.png')

adapter = T2IAdapter.from_pretrained("TencentARC/t2iadapter_color_sd14v1", torch_dtype=torch.float16)
pipe = StableDiffusionAdapterPipeline.from_pretrained(
    "CompVis/stable-diffusion-v1-4",
    adapter=adapter,
    torch_dtype=torch.float16,
)
pipe.to("cuda")

generator = torch.manual_seed(0)

out_image = pipe(
    "At night, glowing cubes in front of the beach",
    image=color_palette,
    generator=generator,
).images[0]

out_image.save('./images/color_out_image.png')

color_ref color_palette color_out_image

✨ 主要特性

T2I Adapter可以為穩定擴散模型提供額外的條件控制，不同的T2I檢查點可以接受不同類型的條件輸入，從而實現多樣化的圖像生成控制。

📚 詳細文檔

模型詳情

屬性	詳情
開發者	《T2I-Adapter: Learning Adapters to Dig out More Controllable Ability for Text-to-Image Diffusion Models》
模型類型	基於擴散的文本到圖像生成模型
語言	英文
許可證	Apache 2.0
更多信息資源	GitHub倉庫，論文
引用方式	@misc{ title={T2I-Adapter: Learning Adapters to Dig out More Controllable Ability for Text-to-Image Diffusion Models}, author={Chong Mou, Xintao Wang, Liangbin Xie, Yanze Wu, Jian Zhang, Zhongang Qi, Ying Shan, Xiaohu Qie}, year={2023}, eprint={2302.08453}, archivePrefix={arXiv}, primaryClass={cs.CV} }

檢查點

模型名稱	控制圖像概述	控制圖像示例	生成圖像示例
TencentARC/t2iadapter_color_sd14v1 使用空間調色板訓練	一個8x8調色板的圖像。
TencentARC/t2iadapter_canny_sd14v1 使用Canny邊緣檢測訓練	一個黑色背景上帶有白色邊緣的單色圖像。
TencentARC/t2iadapter_sketch_sd14v1 使用PidiNet邊緣檢測訓練	一個黑色背景上帶有白色輪廓的手繪單色圖像。
TencentARC/t2iadapter_depth_sd14v1 使用Midas深度估計訓練	一個灰度圖像，黑色代表深區域，白色代表淺區域。
TencentARC/t2iadapter_openpose_sd14v1 使用OpenPose骨骼圖像訓練	一個OpenPose骨骼圖像。
TencentARC/t2iadapter_keypose_sd14v1 使用mmpose骨架圖像訓練	一個mmpose骨架圖像。
TencentARC/t2iadapter_seg_sd14v1 使用語義分割訓練	一個自定義分割協議圖像。
TencentARC/t2iadapter_canny_sd15v2
TencentARC/t2iadapter_depth_sd15v2
TencentARC/t2iadapter_sketch_sd15v2
TencentARC/t2iadapter_zoedepth_sd15v1