Add Finetuned Mb

🚀 图像内绘制添加：先移除再学习添加图像对象

该模型专为遵循指令向图像中添加对象而设计。

我们提供四种不同的模型：

• 在PIPE数据集上训练的，专门用于对象添加。
• 在MagicBrush添加子集上微调的对象添加模型（即此模型）。
• 在PIPE和InstructPix2Pix组合数据集上训练的，用于通用编辑。
• 在完整MagicBrush数据集上微调的通用模型。

🚀 快速开始

此模型可使用InstructPix2Pix管道轻松运行：

from diffusers import StableDiffusionInstructPix2PixPipeline, EulerAncestralDiscreteScheduler
import torch
import requests
from io import BytesIO

model_name = "paint-by-inpaint/add-finetuned-mb"

diffusion_steps = 50
device = "cuda"
image_url = "https://paint-by-inpaint-demo.hf.space/file=/tmp/gradio/99cd3a15aa9bdd3220b4063ebc3ac05e07a611b8/messi.jpeg"
image = Image.open(BytesIO(requests.get(image_url).content)).resize((512, 512))

pipe = StableDiffusionInstructPix2PixPipeline.from_pretrained(model_name, torch_dtype=torch.float16, safety_checker=None).to(device)
pipe.scheduler = EulerAncestralDiscreteScheduler.from_config(pipe.scheduler.config)

# Generate the modified image
out_images = pipe(
    "Add a royal silver crown", 
    image=image, 
    guidance_scale=7, 
    image_guidance_scale=1.5, 
    num_inference_steps=diffusion_steps,
    num_images_per_prompt=1
).images

✨ 主要特性

• 指令遵循对象添加：该模型能够按照指令向图像中添加对象。
• 多种模型选择：提供四种不同的模型，可根据具体需求选择合适的模型进行对象添加或通用编辑。

📚 详细文档

资源链接

• 💻 访问项目页面
• 📝 阅读论文
• 🚀 试用我们的演示
• 🗂️ 使用PIPE数据集

📄 许可证

文档中未提及许可证相关信息。

BibTeX

@article{wasserman2024paint,
  title={Paint by Inpaint: Learning to Add Image Objects by Removing Them First},
  author={Wasserman, Navve and Rotstein, Noam and Ganz, Roy and Kimmel, Ron},
  journal={arXiv preprint arXiv:2404.18212},
  year={2024}
}