Add Finetuned Mb

🚀 圖像內繪製添加：先移除再學習添加圖像對象

該模型專為遵循指令向圖像中添加對象而設計。

我們提供四種不同的模型：

• 在PIPE數據集上訓練的，專門用於對象添加。
• 在MagicBrush添加子集上微調的對象添加模型（即此模型）。
• 在PIPE和InstructPix2Pix組合數據集上訓練的，用於通用編輯。
• 在完整MagicBrush數據集上微調的通用模型。

🚀 快速開始

此模型可使用InstructPix2Pix管道輕鬆運行：

from diffusers import StableDiffusionInstructPix2PixPipeline, EulerAncestralDiscreteScheduler
import torch
import requests
from io import BytesIO

model_name = "paint-by-inpaint/add-finetuned-mb"

diffusion_steps = 50
device = "cuda"
image_url = "https://paint-by-inpaint-demo.hf.space/file=/tmp/gradio/99cd3a15aa9bdd3220b4063ebc3ac05e07a611b8/messi.jpeg"
image = Image.open(BytesIO(requests.get(image_url).content)).resize((512, 512))

pipe = StableDiffusionInstructPix2PixPipeline.from_pretrained(model_name, torch_dtype=torch.float16, safety_checker=None).to(device)
pipe.scheduler = EulerAncestralDiscreteScheduler.from_config(pipe.scheduler.config)

# Generate the modified image
out_images = pipe(
    "Add a royal silver crown", 
    image=image, 
    guidance_scale=7, 
    image_guidance_scale=1.5, 
    num_inference_steps=diffusion_steps,
    num_images_per_prompt=1
).images

✨ 主要特性

• 指令遵循對象添加：該模型能夠按照指令向圖像中添加對象。
• 多種模型選擇：提供四種不同的模型，可根據具體需求選擇合適的模型進行對象添加或通用編輯。

📚 詳細文檔

資源鏈接

• 💻 訪問項目頁面
• 📝 閱讀論文
• 🚀 試用我們的演示
• 🗂️ 使用PIPE數據集

📄 許可證

文檔中未提及許可證相關信息。

BibTeX

@article{wasserman2024paint,
  title={Paint by Inpaint: Learning to Add Image Objects by Removing Them First},
  author={Wasserman, Navve and Rotstein, Noam and Ganz, Roy and Kimmel, Ron},
  journal={arXiv preprint arXiv:2404.18212},
  year={2024}
}