Sdxs 512 Dreamshaper

🚀 SDXS-512-DreamShaper

SDXS是一个能够基于提示文本实时生成高分辨率图像的模型，它采用分数蒸馏和特征匹配技术进行训练。更多信息，请参考我们的研究论文：SDXS: Real-Time One-Step Latent Diffusion Models with Image Conditions。我们将该模型作为研究的一部分进行了开源。

SDXS-512-DreamShaper是我们专门为社区训练的版本。该模型在训练时不关注FID指标，为了获得更好的图像生成质量而牺牲了多样性。为了避免一些可能的风险，SDXS-512-1.0和SDXS-1024-1.0版本将在短期内不再提供。请关注我们的仓库以获取最新更新。

✨ 主要特性

• 能够根据提示文本实时生成高分辨率图像。
• 采用分数蒸馏和特征匹配技术进行训练。
• 为社区专门训练的版本，牺牲多样性以换取更好的图像生成质量。

📦 安装指南

文档中未提及具体安装步骤，故跳过此章节。

💻 使用示例

基础用法

import torch
from diffusers import StableDiffusionPipeline, AutoencoderKL

repo = "IDKiro/sdxs-512-dreamshaper"
seed = 42
weight_type = torch.float16     # or float32

# Load model.
pipe = StableDiffusionPipeline.from_pretrained(repo, torch_dtype=weight_type)
pipe.to("cuda")

prompt = "a close-up picture of an old man standing in the rain"

# Ensure using 1 inference step and CFG set to 0.
image = pipe(
    prompt, 
    num_inference_steps=1, 
    guidance_scale=0,
    generator=torch.Generator(device="cuda").manual_seed(seed)
).images[0]

image.save("output.png")

模型信息

引用我们的工作

@article{song2024sdxs,
  author    = {Yuda Song, Zehao Sun, Xuanwu Yin},
  title     = {SDXS: Real-Time One-Step Latent Diffusion Models with Image Conditions},
  journal   = {arxiv},
  year      = {2024},
}

📄 许可证

本模型采用OpenRAIL++许可证。