Control V11e Sd15 Ip2p

🚀 Controlnet - v1.1 - instruct pix2pix Version

ControlNet v1.1は、追加の条件を付与することで拡散モデルを制御するニューラルネットワーク構造です。このモデルは、Stable Diffusionと組み合わせて使用することができ、画像生成の制御性を高めます。

🚀 クイックスタート

Controlnet v1.1 は、Lvmin Zhangによって lllyasviel/ControlNet-v1-1 でリリースされました。

このチェックポイントは、元のチェックポイント を diffusers 形式に変換したものです。Stable Diffusion と組み合わせて使用でき、例えば runwayml/stable-diffusion-v1-5 と一緒に使うことができます。

詳細については、🧨 Diffusers docs も参照してください。

✨ 主な機能

ControlNetは、追加の条件を追加することで拡散モデルを制御するニューラルネットワーク構造です。このモデルは、以下のような特徴を持っています。

• 事前学習された大規模拡散モデルを制御して、追加の入力条件をサポートすることができます。
• タスク固有の条件をエンドツーエンドで学習し、訓練データセットが小さい場合でもロバストな学習が可能です。
• 拡散モデルの微調整と同じくらい速く訓練でき、個人のデバイスでも訓練可能です。
• 強力な計算クラスターが利用可能な場合は、大量のデータ（数百万から数十億）にスケールできます。

📦 インストール

1. diffusers と関連パッケージをインストールしましょう。

$ pip install diffusers transformers accelerate

💻 使用例

基本的な使用法

import torch
import os
from huggingface_hub import HfApi
from pathlib import Path
from diffusers.utils import load_image
from PIL import Image
import numpy as np

from diffusers import (
    ControlNetModel,
    StableDiffusionControlNetPipeline,
    UniPCMultistepScheduler,
)

checkpoint = "lllyasviel/control_v11e_sd15_ip2p"

image = load_image("https://huggingface.co/lllyasviel/control_v11e_sd15_ip2p/resolve/main/images/input.png").convert('RGB')

prompt = "make it on fire"

controlnet = ControlNetModel.from_pretrained(checkpoint, torch_dtype=torch.float16)
pipe = StableDiffusionControlNetPipeline.from_pretrained(
    "runwayml/stable-diffusion-v1-5", controlnet=controlnet, torch_dtype=torch.float16
)

pipe.scheduler = UniPCMultistepScheduler.from_config(pipe.scheduler.config)
pipe.enable_model_cpu_offload()

generator = torch.manual_seed(0)
image = pipe(prompt, num_inference_steps=30, generator=generator, image=image).images[0]

image.save('images/image_out.png')

📚 ドキュメント

モデル詳細

引用方法

@misc{zhang2023adding,
    title={Adding Conditional Control to Text-to-Image Diffusion Models}, 
    author={Lvmin Zhang and Maneesh Agrawala},
    year={2023},
    eprint={2302.05543},
    archivePrefix={arXiv},
    primaryClass={cs.CV}
}

他のリリースされたチェックポイント v1-1

著者らは、Stable Diffusion v1-5 を使用して、異なるタイプの条件付きで訓練された14種類の異なるチェックポイントをリリースしました。

モデル名	コントロール画像の概要	条件画像	コントロール画像の例	生成画像の例
lllyasviel/control_v11p_sd15_canny	キャニーエッジ検出で訓練	黒い背景に白いエッジがあるモノクロ画像。
lllyasviel/control_v11e_sd15_ip2p	ピクセルからピクセルの指示で訓練	条件なし。
lllyasviel/control_v11p_sd15_inpaint	画像インペイントで訓練	条件なし。
lllyasviel/control_v11p_sd15_mlsd	多レベル線分検出で訓練	注釈付きの線分がある画像。
lllyasviel/control_v11f1p_sd15_depth	深度推定で訓練	深度情報がある画像。通常はグレースケール画像として表されます。
lllyasviel/control_v11p_sd15_normalbae	表面法線推定で訓練	表面法線情報がある画像。通常は色分けされた画像として表されます。
lllyasviel/control_v11p_sd15_seg	画像セグメンテーションで訓練	セグメント化された領域がある画像。通常は色分けされた画像として表されます。
lllyasviel/control_v11p_sd15_lineart	ラインアート生成で訓練	ラインアートがある画像。通常は白い背景に黒い線があります。
lllyasviel/control_v11p_sd15s2_lineart_anime	アニメラインアート生成で訓練	アニメスタイルのラインアートがある画像。
lllyasviel/control_v11p_sd15_openpose	人間のポーズ推定で訓練	人間のポーズがある画像。通常はキーポイントまたはスケルトンのセットとして表されます。
lllyasviel/control_v11p_sd15_scribble	スクリブルベースの画像生成で訓練	スクリブルがある画像。通常はランダムまたはユーザーが描いたストロークです。
lllyasviel/control_v11p_sd15_softedge	ソフトエッジ画像生成で訓練	ソフトエッジがある画像。通常はより絵画的またはアート的な効果を作成するために使用されます。
lllyasviel/control_v11e_sd15_shuffle	画像シャッフルで訓練	パッチまたは領域がシャッフルされた画像。
lllyasviel/control_v11f1e_sd15_tile	画像タイリングで訓練	ぼやけた画像または画像の一部。

その他の情報

詳細については、Diffusers ControlNet Blog Post と 公式ドキュメント も参照してください。

📄 ライセンス

このモデルは The CreativeML OpenRAIL M license の下で提供されています。