Add Finetuned Mb

🚀 Paint by Inpaint: 最初に画像のオブジェクトを削除してから追加する学習

このモデルは、画像に対する指示に従ったオブジェクトの追加を目的として設計されています。

以下の4種類の異なるモデルを提供しています：

• PIPEデータセットで学習され、オブジェクト追加に特化したモデル。
• MagicBrushの追加サブセットで微調整されたオブジェクト追加モデル（このモデル）。
• PIPEとInstructPix2Pixのデータセットを組み合わせて学習され、一般的な編集を目的としたモデル。
• 完全なMagicBrushデータセットで微調整された一般的なモデル。

🚀 クイックスタート

このモデルは、InstructPix2Pixパイプラインを使用して簡単に実行できます。

from diffusers import StableDiffusionInstructPix2PixPipeline, EulerAncestralDiscreteScheduler
import torch
import requests
from io import BytesIO

model_name = "paint-by-inpaint/add-finetuned-mb"

diffusion_steps = 50
device = "cuda"
image_url = "https://paint-by-inpaint-demo.hf.space/file=/tmp/gradio/99cd3a15aa9bdd3220b4063ebc3ac05e07a611b8/messi.jpeg"
image = Image.open(BytesIO(requests.get(image_url).content)).resize((512, 512))

pipe = StableDiffusionInstructPix2PixPipeline.from_pretrained(model_name, torch_dtype=torch.float16, safety_checker=None).to(device)
pipe.scheduler = EulerAncestralDiscreteScheduler.from_config(pipe.scheduler.config)

# Generate the modified image
out_images = pipe(
    "Add a royal silver crown", 
    image=image, 
    guidance_scale=7, 
    image_guidance_scale=1.5, 
    num_inference_steps=diffusion_steps,
    num_images_per_prompt=1
).images

✨ 主な機能

• 画像に対する指示に従ったオブジェクトの追加が可能です。
• 4種類の異なるモデルを提供し、様々なニーズに対応します。

📚 ドキュメント

リソース

• 💻 プロジェクトページを訪問
• 📝 論文を読む
• 🚀 デモを試す
• 🗂️ PIPEデータセットを使用する

BibTeX

@article{wasserman2024paint,
  title={Paint by Inpaint: Learning to Add Image Objects by Removing Them First},
  author={Wasserman, Navve and Rotstein, Noam and Ganz, Roy and Kimmel, Ron},
  journal={arXiv preprint arXiv:2404.18212},
  year={2024}
}