Stable Diffusion Xl 1.0 Inpainting 0.1

🚀 SD-XL 圖像修復 0.1 模型卡片

SD-XL 圖像修復 0.1 是一個潛在的文本到圖像擴散模型，它能夠根據任何文本輸入生成逼真的圖像，並且具備通過使用掩碼對圖片進行修復的額外能力。

🚀 快速開始

💻 使用示例

基礎用法

from diffusers import AutoPipelineForInpainting
from diffusers.utils import load_image
import torch

pipe = AutoPipelineForInpainting.from_pretrained("diffusers/stable-diffusion-xl-1.0-inpainting-0.1", torch_dtype=torch.float16, variant="fp16").to("cuda")

img_url = "https://raw.githubusercontent.com/CompVis/latent-diffusion/main/data/inpainting_examples/overture-creations-5sI6fQgYIuo.png"
mask_url = "https://raw.githubusercontent.com/CompVis/latent-diffusion/main/data/inpainting_examples/overture-creations-5sI6fQgYIuo_mask.png"

image = load_image(img_url).resize((1024, 1024))
mask_image = load_image(mask_url).resize((1024, 1024))

prompt = "a tiger sitting on a park bench"
generator = torch.Generator(device="cuda").manual_seed(0)

image = pipe(
  prompt=prompt,
  image=image,
  mask_image=mask_image,
  guidance_scale=8.0,
  num_inference_steps=20,  # steps between 15 and 30 work well for us
  strength=0.99,  # make sure to use `strength` below 1.0
  generator=generator,
).images[0]

工作原理：

輸入圖像	掩碼圖像

提示詞	輸出結果
a tiger sitting on a park bench

📚 詳細文檔

模型描述

用途

直接用途

該模型僅用於研究目的。可能的研究領域和任務包括：

• 藝術品生成以及在設計和其他藝術過程中的應用。
• 教育或創意工具中的應用。
• 生成模型的研究。
• 對有潛在生成有害內容能力的模型進行安全部署。
• 探究和理解生成模型的侷限性和偏差。

超出適用範圍的用途

該模型並非用於對人物或事件進行事實性或真實的呈現，因此使用該模型生成此類內容超出了該模型的能力範圍。

侷限性和偏差

侷限性

• 模型無法實現完美的逼真度。
• 模型無法渲染清晰可讀的文本。
• 模型在處理涉及組合性的更復雜任務時存在困難，例如渲染與 “一個紅色立方體放在藍色球體上” 對應的圖像。
• 一般來說，人臉和人物可能無法正確生成。
• 模型的自動編碼部分存在信息損失。
• 當強度參數設置為 1（即從完全掩碼的圖像開始進行圖像修復）時，圖像質量會下降。模型會保留圖像中未掩碼的內容，但圖像看起來不夠清晰。我們正在對此進行研究並開發下一版本。

偏差

雖然圖像生成模型的能力令人印象深刻，但它們也可能強化或加劇社會偏差。

📄 許可證

本模型遵循 CreativeML Open RAIL++-M 許可證。