Stable Diffusion Xl Refiner 1.0

🚀 SD-XL 1.0 精煉器模型卡片

SD-XL 1.0 精煉器模型是基於文本提示生成和修改圖像的模型，它通過特定的潛在擴散管道，與基礎模型配合，能生成高質量的圖像，為圖像生成領域的研究提供了強大的工具。

🚀 快速開始

安裝依賴

確保將 diffusers 升級到 >= 0.18.0：

pip install diffusers --upgrade

此外，還需安裝 transformers、safetensors、accelerate 以及 invisible_watermark：

pip install invisible_watermark transformers accelerate safetensors

使用示例

基礎用法

import torch
from diffusers import StableDiffusionXLImg2ImgPipeline
from diffusers.utils import load_image

pipe = StableDiffusionXLImg2ImgPipeline.from_pretrained(
    "stabilityai/stable-diffusion-xl-refiner-1.0", torch_dtype=torch.float16, variant="fp16", use_safetensors=True
)
pipe = pipe.to("cuda")
url = "https://huggingface.co/datasets/patrickvonplaten/images/resolve/main/aa_xl/000000009.png"

init_image = load_image(url).convert("RGB")
prompt = "a photo of an astronaut riding a horse on mars"
image = pipe(prompt, image=init_image).images

高級用法

當使用 torch >= 2.0 時，可通過 torch.compile 提高推理速度 20 - 30%。在運行管道之前，只需用 torch.compile 包裝 unet：

pipe.unet = torch.compile(pipe.unet, mode="reduce-overhead", fullgraph=True)

如果受 GPU 顯存限制，可以通過調用 pipe.enable_model_cpu_offload 來啟用 CPU 卸載，而不是使用 .to("cuda")：

- pipe.to("cuda")
+ pipe.enable_model_cpu_offload()

如需瞭解更多高級用例，請查看 文檔。

✨ 主要特性

• 雙階段處理：結合基礎模型和精煉模型，先由基礎模型生成（有噪）潛在變量，再由精煉模型進行最終去噪處理，也可採用兩階段管道，使用專門的高分辨率模型和 SDEdit 技術。
• 多用途：可用於生成藝術作品、教育或創意工具、生成模型研究等多個領域。

📦 安裝指南

依賴安裝

確保將 diffusers 升級到 >= 0.18.0：

pip install diffusers --upgrade

此外，還需安裝 transformers、safetensors、accelerate 以及 invisible_watermark：

pip install invisible_watermark transformers accelerate safetensors

📚 詳細文檔

模型

SDXL 由用於潛在擴散的 專家集成 管道組成： 第一步，使用基礎模型（可在此處獲取：https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0）生成（有噪）潛在變量，然後使用專門用於最終去噪步驟的精煉模型對其進行進一步處理。請注意，基礎模型可以作為獨立模塊使用。

或者，我們可以使用如下兩階段管道： 首先，使用基礎模型生成所需輸出大小的潛在變量。在第二步中，我們使用專門的高分辨率模型，並對第一步生成的潛在變量應用一種稱為 SDEdit（https://arxiv.org/abs/2108.01073，也稱為 “img2img”）的技術，使用相同的提示。這種技術比第一種稍慢，因為它需要更多的函數評估。

源代碼可在 https://github.com/Stability-AI/generative-models 獲取。

模型描述

模型來源

出於研究目的，我們推薦使用我們的 generative-models GitHub 倉庫（https://github.com/Stability-AI/generative-models），該倉庫實現了最流行的擴散框架（包括訓練和推理），並且會隨著時間的推移添加新的功能，如蒸餾。 Clipdrop 提供免費的 SDXL 推理。

🔧 技術細節

評估

上圖評估了用戶對 SDXL（有和無精煉）相對於 SDXL 0.9 以及 Stable Diffusion 1.5 和 2.1 的偏好。SDXL 基礎模型的表現明顯優於之前的版本，而結合精煉模塊的模型整體性能最佳。

📄 許可證

本模型使用 CreativeML Open RAIL++ - M 許可證。

💡 使用建議

• 當使用 torch >= 2.0 時，可通過 torch.compile 提高推理速度。
• 若受 GPU 顯存限制，可啟用 CPU 卸載功能。

⚠️ 重要提示

• 本模型僅用於研究目的。
• 模型未經過訓練以真實反映人物或事件，因此使用該模型生成此類內容超出了其能力範圍。
• 模型存在一定的侷限性，如無法實現完美的照片寫實、無法渲染清晰的文本、處理涉及組合性的複雜任務時存在困難、人臉和人物生成可能不準確以及自動編碼部分存在信息損失等。同時，圖像生成模型可能會強化或加劇社會偏見。