Controlnet Openpose Sdxl 1.0 Safetensors

🚀 SDXL - controlnet: OpenPose (v2)

このプロジェクトは、StableDiffusionXLベースモデルにOpenPose (v2) コンディショニングを適用したControlNetの重みを提供します。テキストから画像を生成する際に、OpenPoseの姿勢情報を利用して、より自然でリアルな画像生成が可能です。

🚀 クイックスタート

このモデルは [thibaud/controlnet - openpose - sdxl - 1.0](https://huggingface.co/thibaud/controlnet - openpose - sdxl - 1.0) のコピーで、safetensorsバージョンを使用してdiffusersから直接利用できます。

✨ 主な機能

• StableDiffusionXLベースモデルにOpenPose (v2) コンディショニングを適用したControlNet重みを提供
• 姿勢情報を利用した高精度な画像生成が可能
• diffusersライブラリを使用した簡単な操作

📦 インストール

まず、必要なライブラリをインストールします。

pip install -q controlnet_aux transformers accelerate
pip install -q git+https://github.com/huggingface/diffusers

💻 使用例

基本的な使用法

以下のコードで、Darth Vaderが踊る画像を生成できます。

from diffusers import AutoencoderKL, StableDiffusionXLControlNetPipeline, ControlNetModel, UniPCMultistepScheduler
import torch
from controlnet_aux import OpenposeDetector
from diffusers.utils import load_image

# Compute openpose conditioning image.
openpose = OpenposeDetector.from_pretrained("lllyasviel/ControlNet")

image = load_image(
    "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/diffusers/person.png"
)
openpose_image = openpose(image)

# Initialize ControlNet pipeline.
controlnet = ControlNetModel.from_pretrained("dimitribarbot/controlnet-openpose-sdxl-1.0-safetensors", torch_dtype=torch.float16)
pipe = StableDiffusionXLControlNetPipeline.from_pretrained(
    "stabilityai/stable-diffusion-xl-base-1.0", controlnet=controlnet, torch_dtype=torch.float16
)
pipe.enable_model_cpu_offload()

# Infer.
prompt = "Darth vader dancing in a desert, high quality"
negative_prompt = "low quality, bad quality"
images = pipe(
    prompt, 
    negative_prompt=negative_prompt,
    num_inference_steps=25,
    num_images_per_prompt=4,
    image=openpose_image.resize((1024, 1024)),
    generator=torch.manual_seed(97),
).images
images[0]

生成された画像の例:

Comfy Workflowの使用

(画像はComfyUIからのもので、Comfyにドラッグアンドドロップしてワークフローとして使用できます)

🔧 技術詳細

学習について

学習スクリプトは、HF🤗の こちら を参照してください。

学習データ

このチェックポイントは、laion 6aを最大最小次元768にリサイズしたデータで15,000ステップ学習されました。

コンピューティング環境

1xA100マシンを使用 (HF🤗にコンピューティング環境を提供していただき、ありがとうございます！)

バッチサイズ

データ並列で、単一GPUのバッチサイズは2、勾配累積は8です。

ハイパーパラメータ

学習率は8e - 5の固定値です。

混合精度

fp16を使用しています。

📄 ライセンス

ライセンスについては、OpenPoseのものを参照してください。