Control V11f1e Sd15 Tile

🚀 Controlnet - v1.1 - Tile Version

ControlNetは、追加の条件を加えることで拡散モデルを制御するニューラルネットワーク構造です。このモデルは、Stable Diffusionと組み合わせて使用することができ、画像生成の制御性を向上させます。

🚀 クイックスタート

Controlnet v1.1は、Lvmin Zhangによってlllyasviel/ControlNet-v1-1でリリースされました。

このチェックポイントは、元のチェックポイントをdiffusers形式に変換したものです。runwayml/stable-diffusion-v1-5などのStable Diffusionと組み合わせて使用できます。

詳細については、🧨 Diffusers docsも参照してください。

✨ 主な機能

ControlNetは、追加の入力条件をサポートするために事前学習された大規模拡散モデルを制御するニューラルネットワーク構造です。このモデルは、タスク固有の条件をエンドツーエンドで学習し、訓練データセットが小さい場合でもロバストな学習が可能です。

📦 インストール

1. diffusersと関連パッケージをインストールします。

$ pip install diffusers transformers accelerate

💻 使用例

基本的な使用法

import torch
from PIL import Image
from diffusers import ControlNetModel, DiffusionPipeline
from diffusers.utils import load_image

def resize_for_condition_image(input_image: Image, resolution: int):
    input_image = input_image.convert("RGB")
    W, H = input_image.size
    k = float(resolution) / min(H, W)
    H *= k
    W *= k
    H = int(round(H / 64.0)) * 64
    W = int(round(W / 64.0)) * 64
    img = input_image.resize((W, H), resample=Image.LANCZOS)
    return img

controlnet = ControlNetModel.from_pretrained('lllyasviel/control_v11f1e_sd15_tile', 
                                             torch_dtype=torch.float16)
pipe = DiffusionPipeline.from_pretrained("runwayml/stable-diffusion-v1-5",
                                         custom_pipeline="stable_diffusion_controlnet_img2img",
                                         controlnet=controlnet,
                                         torch_dtype=torch.float16).to('cuda')
pipe.enable_xformers_memory_efficient_attention()

source_image = load_image('https://huggingface.co/lllyasviel/control_v11f1e_sd15_tile/resolve/main/images/original.png')

condition_image = resize_for_condition_image(source_image, 1024)
image = pipe(prompt="best quality", 
             negative_prompt="blur, lowres, bad anatomy, bad hands, cropped, worst quality", 
             image=condition_image, 
             controlnet_conditioning_image=condition_image, 
             width=condition_image.size[0],
             height=condition_image.size[1],
             strength=1.0,
             generator=torch.manual_seed(0),
             num_inference_steps=32,
            ).images[0]

image.save('output.png')

📚 ドキュメント

モデルの詳細

引用

@misc{zhang2023adding,
    title={Adding Conditional Control to Text-to-Image Diffusion Models}, 
    author={Lvmin Zhang and Maneesh Agrawala},
    year={2023},
    eprint={2302.05543},
    archivePrefix={arXiv},
    primaryClass={cs.CV}
}

他のリリースされたチェックポイントv1-1

著者らは、Stable Diffusion v1-5を使用して、異なるタイプの条件付きで訓練された14の異なるチェックポイントをリリースしました。

モデル名	制御画像の概要	制御画像の例	生成画像の例
lllyasviel/control_v11p_sd15_canny Cannyエッジ検出で訓練	黒い背景に白いエッジがあるモノクロ画像。
lllyasviel/control_v11e_sd15_ip2p ピクセルからピクセルの指示で訓練	条件なし。
lllyasviel/control_v11p_sd15_inpaint 画像インペイントで訓練	条件なし。
lllyasviel/control_v11p_sd15_mlsd 多レベル線分検出で訓練	注釈付きの線分がある画像。
lllyasviel/control_v11f1p_sd15_depth 深度推定で訓練	深度情報がある画像。通常、グレースケール画像として表されます。
lllyasviel/control_v11p_sd15_normalbae 表面法線推定で訓練	表面法線情報がある画像。通常、色分けされた画像として表されます。
lllyasviel/control_v11p_sd15_seg 画像セグメンテーションで訓練	セグメント化された領域がある画像。通常、色分けされた画像として表されます。
lllyasviel/control_v11p_sd15_lineart ラインアート生成で訓練	ラインアートがある画像。通常、白い背景に黒い線があります。
lllyasviel/control_v11p_sd15s2_lineart_anime アニメラインアート生成で訓練	アニメスタイルのラインアートがある画像。
lllyasviel/control_v11p_sd15_openpose 人体ポーズ推定で訓練	人体のポーズがある画像。通常、キーポイントまたはスケルトンのセットとして表されます。
lllyasviel/control_v11p_sd15_scribble スクリブルベースの画像生成で訓練	スクリブルがある画像。通常、ランダムまたはユーザーが描いたストロークです。
lllyasviel/control_v11p_sd15_softedge ソフトエッジ画像生成で訓練	ソフトエッジがある画像。通常、より絵画的または芸術的な効果を作成するために使用されます。
lllyasviel/control_v11e_sd15_shuffle 画像シャッフルで訓練	パッチまたは領域がシャッフルされた画像。
lllyasviel/control_v11f1e_sd15_tile 画像タイリングで訓練	タイリングされた画像に基づく条件付きで訓練されたモデル。

📄 ライセンス

このモデルは、The CreativeML OpenRAIL M licenseの下で提供されています。