T2iadapter Color Sd14v1

🚀 T2I Adapter - Color

T2I Adapterは、Stable Diffusionに追加の条件付けを提供するネットワークです。各T2Iチェックポイントは、異なるタイプの条件付けを入力として受け取り、特定の基本Stable Diffusionチェックポイントとともに使用されます。

このチェックポイントは、Stable Diffusion 1.4チェックポイントに対して、カラーパレットによる条件付けを提供します。

🚀 クイックスタート

依存関係のインストール

pip install diffusers transformers

コードの実行

from PIL import Image
import torch
from diffusers import StableDiffusionAdapterPipeline, T2IAdapter

image = Image.open('./images/color_ref.png')

color_palette = image.resize((8, 8))
color_palette = color_palette.resize((512, 512), resample=Image.Resampling.NEAREST)

color_palette.save('./images/color_palette.png')

adapter = T2IAdapter.from_pretrained("TencentARC/t2iadapter_color_sd14v1", torch_dtype=torch.float16)
pipe = StableDiffusionAdapterPipeline.from_pretrained(
    "CompVis/stable-diffusion-v1-4",
    adapter=adapter,
    torch_dtype=torch.float16,
)
pipe.to("cuda")

generator = torch.manual_seed(0)

out_image = pipe(
    "At night, glowing cubes in front of the beach",
    image=color_palette,
    generator=generator,
).images[0]

out_image.save('./images/color_out_image.png')

✨ 主な機能

T2I Adapterは、Stable Diffusionに追加の条件付けを提供することで、より多くの制御可能な能力を引き出すことができます。このモデルは、カラーパレットによる条件付けを提供することで、生成される画像の色調を制御することができます。

📚 ドキュメント

モデルの詳細

チェックポイント

モデル名	制御画像の概要	制御画像の例	生成画像の例
TencentARC/t2iadapter_color_sd14v1 空間的なカラーパレットで学習	8x8のカラーパレットを持つ画像。
TencentARC/t2iadapter_canny_sd14v1 Cannyエッジ検出で学習	黒い背景に白いエッジがあるモノクロ画像。
TencentARC/t2iadapter_sketch_sd14v1 PidiNetエッジ検出で学習	黒い背景に白い輪郭がある手描きのモノクロ画像。
TencentARC/t2iadapter_depth_sd14v1 Midas深度推定で学習	黒が深い領域、白が浅い領域を表すグレースケール画像。
TencentARC/t2iadapter_openpose_sd14v1 OpenPose骨格画像で学習	OpenPose骨格画像。
TencentARC/t2iadapter_keypose_sd14v1 mmpose骨格画像で学習	mmpose骨格画像。
TencentARC/t2iadapter_seg_sd14v1 セマンティックセグメンテーションで学習	カスタムセグメンテーションプロトコル画像。
TencentARC/t2iadapter_canny_sd15v2
TencentARC/t2iadapter_depth_sd15v2
TencentARC/t2iadapter_sketch_sd15v2
TencentARC/t2iadapter_zoedepth_sd15v1

📄 ライセンス

このモデルは、Apache 2.0ライセンスの下で提供されています。