Sdxl Instructpix2pix 768

🚀 SDXL InstructPix2Pix (768×768)

Stable Diffusion XL (SDXL) を InstructPix2Pix のように指示に基づいて微調整したモデルです。以下にいくつかの結果を示します。

編集指示: "空を曇り空にする"

編集指示: "ピカソの絵風にする"

編集指示: "人物を年上に見せる"

🚀 クイックスタート

📦 インストール

まずは必要なライブラリをインストールしましょう。

pip install accelerate transformers
pip install git+https://github.com/huggingface/diffusers

💻 使用例

基本的な使用法

import torch
from diffusers import StableDiffusionXLInstructPix2PixPipeline
from diffusers.utils import load_image

resolution = 768
image = load_image(
    "https://hf.co/datasets/diffusers/diffusers-images-docs/resolve/main/mountain.png"
).resize((resolution, resolution))
edit_instruction = "Turn sky into a cloudy one"

pipe = StableDiffusionXLInstructPix2PixPipeline.from_pretrained(
    "diffusers/sdxl-instructpix2pix-768", torch_dtype=torch.float16
).to("cuda")

edited_image = pipe(
    prompt=edit_instruction,
    image=image,
    height=resolution,
    width=resolution,
    guidance_scale=3.0,
    image_guidance_scale=1.5,
    num_inference_steps=30,
).images[0]
edited_image.save("edited_image.png")

詳細については、ドキュメント を参照してください。

⚠️ 重要提示

このチェックポイントは実験的なものであり、改善の余地がたくさんあります。問題の報告や議論は、このリポジトリの「Discussions」タブを使用してください。

🔧 技術詳細

訓練方法

画像解像度768x768で、固定学習率5e-6を用いて、InstructPix2Pixの訓練方法でSDXLを15000ステップ微調整しました。

訓練スクリプトやその他のユーティリティは こちら で見ることができ、公式の訓練スクリプト をベースに構築されています。

訓練ログは Weights and Biases の こちら で確認できます。すべてのハイパーパラメータの詳細はこのリンクを参照してください。

訓練データ

timbrooks/instructpix2pix-clip-filtered というデータセットを使用しました。

コンピューティング環境

1台の8xA100マシンを使用しました。

バッチサイズ

データ並列で、単一GPUのバッチサイズは8、合計バッチサイズは32です。

混合精度

FP16を使用しました。

📄 ライセンス

このプロジェクトは OpenRAIL++ ライセンスの下で公開されています。

情報一覧