T2iadapter Depth Sd15v2

🚀 T2I Adapter - Depth

T2I Adapterは、Stable Diffusionに追加の条件付けを提供するネットワークです。各T2Iチェックポイントは、異なるタイプの条件付けを入力として受け取り、特定の基本Stable Diffusionチェックポイントとともに使用されます。

このチェックポイントは、Stable Diffusion 1.5チェックポイントに対して深度の条件付けを提供します。

🚀 クイックスタート

依存関係のインストール

pip install diffusers transformers controlnet_aux

コードの実行

from controlnet_aux import MidasDetector
from PIL import Image
from diffusers import T2IAdapter, StableDiffusionAdapterPipeline
import torch

midas = MidasDetector.from_pretrained("lllyasviel/Annotators")

image = Image.open('./images/depth_input.png')

image = midas(image)

image.save('./images/depth.png')

adapter = T2IAdapter.from_pretrained("TencentARC/t2iadapter_depth_sd15v2", torch_dtype=torch.float16)
pipe = StableDiffusionAdapterPipeline.from_pretrained(
    "runwayml/stable-diffusion-v1-5", adapter=adapter, safety_checker=None, torch_dtype=torch.float16, variant="fp16"
)

pipe.to('cuda')

generator = torch.Generator().manual_seed(1)

depth_out = pipe(prompt="storm trooper giving a speech", image=image, generator=generator).images[0]

depth_out.save('./images/depth_output.png')

✨ 主な機能

T2I Adapterは、Stable Diffusionに追加の条件付けを提供することで、よりコントロール可能な画像生成を実現します。各チェックポイントは異なるタイプの条件付けをサポートしており、特定のユースケースに合わせて使用できます。

📦 インストール

依存関係のインストールには、以下のコマンドを実行します。

pip install diffusers transformers controlnet_aux

💻 使用例

基本的な使用法

上記のクイックスタートのコード例が基本的な使用方法を示しています。この例では、深度情報を用いてStable Diffusionで画像を生成しています。

📚 ドキュメント

モデルの詳細

• 開発者: T2I-Adapter: Learning Adapters to Dig out More Controllable Ability for Text-to-Image Diffusion Models
• モデルの種類: 拡散ベースのテキストから画像への生成モデル
• 言語: 英語
• ライセンス: Apache 2.0
• 詳細情報のリソース: GitHub Repository, 論文
• 引用方法:

@misc{
    title={T2I-Adapter: Learning Adapters to Dig out More Controllable Ability for Text-to-Image Diffusion Models}, 
    author={Chong Mou, Xintao Wang, Liangbin Xie, Yanze Wu, Jian Zhang, Zhongang Qi, Ying Shan, Xiaohu Qie},
    year={2023},
    eprint={2302.08453},
    archivePrefix={arXiv},
    primaryClass={cs.CV}
}

チェックポイント

モデル名	制御画像の概要	制御画像の例	生成画像の例
TencentARC/t2iadapter_color_sd14v1 空間的なカラーパレットで学習	8x8のカラーパレットを持つ画像。
TencentARC/t2iadapter_canny_sd14v1 キャニーエッジ検出で学習	黒い背景に白いエッジがあるモノクロ画像。
TencentARC/t2iadapter_sketch_sd14v1 PidiNetエッジ検出で学習	黒い背景に白い輪郭がある手描きのモノクロ画像。
TencentARC/t2iadapter_depth_sd14v1 Midas深度推定で学習	黒が深い領域、白が浅い領域を表すグレースケール画像。
TencentARC/t2iadapter_openpose_sd14v1 OpenPose骨格画像で学習	OpenPose骨格画像。
TencentARC/t2iadapter_keypose_sd14v1 mmpose骨格画像で学習	mmpose骨格画像。
TencentARC/t2iadapter_seg_sd14v1 セマンティックセグメンテーションで学習	カスタムセグメンテーションプロトコル画像。
TencentARC/t2iadapter_canny_sd15v2
TencentARC/t2iadapter_depth_sd15v2
TencentARC/t2iadapter_sketch_sd15v2
TencentARC/t2iadapter_zoedepth_sd15v1

📄 ライセンス

このプロジェクトは、Apache 2.0ライセンスの下で提供されています。