Sdxs 512 0.9

🚀 SDXS-512-0.9

SDXSは、プロンプトテキストに基づいて高解像度の画像をリアルタイムで生成できるモデルです。スコア蒸留と特徴マッチングを用いて学習されています。詳細については、当社の研究論文 SDXS: Real-Time One-Step Latent Diffusion Models with Image Conditions を参照してください。このモデルは研究の一環としてオープンソース化されています。

🚀 クイックスタート

SDXS-512-0.9はSDXS-512の旧バージョンです。いくつかの潜在的な商用および著作権上のリスクを避けるため、SDXS-512-1.0とSDXS-1024-1.0は近日中に利用できなくなります。代わりに、異なる教師DMまたはオフラインDMを持つ新しいバージョンを提供します。最新情報は 当社のリポジトリ をご覧ください。

✨ 主な機能

• プロンプトテキストに基づいて高解像度の画像をリアルタイムで生成できます。
• スコア蒸留と特徴マッチングを用いた学習方法を採用しています。

📦 インストール

このREADMEには具体的なインストール手順が記載されていないため、このセクションをスキップします。

💻 使用例

基本的な使用法

import torch
from diffusers import StableDiffusionPipeline, AutoencoderKL

repo = "IDKiro/sdxs-512-0.9"
seed = 42
weight_type = torch.float32     # or float16

# Load model.
pipe = StableDiffusionPipeline.from_pretrained(repo, torch_dtype=weight_type)

# use original VAE
# pipe.vae = AutoencoderKL.from_pretrained("IDKiro/sdxs-512-0.9/vae_large")
 
pipe.to("cuda")

prompt = "portrait photo of a girl, photograph, highly detailed face, depth of field, moody light, golden hour"

# Ensure using 1 inference step and CFG set to 0.
image = pipe(
    prompt, 
    num_inference_steps=1, 
    guidance_scale=0,
    generator=torch.Generator(device="cuda").manual_seed(seed)
).images[0]

image.save("output.png")

高度な使用法

このREADMEに高度な使用法に関する具体的なコード例が記載されていないため、このサブセクションをスキップします。

📚 ドキュメント

モデル情報

バージョン1.0との主な違い

このモデルとバージョン1.0の主な違いは3つの側面にあります。

1. このバージョンはTAESDを採用していますが、weight_typeがfloat16の場合、低品質の画像が生成されることがあります。当社の画像デコーダは現在のdiffusersバージョンと互換性がないため、現時点では提供されません。
2. このバージョンでは、実装詳細セクションで述べられているLoRA-GANの微調整を行っていないため、画像の詳細がやや劣る可能性があります。
3. このバージョンでは、最高解像度段階で自己注意を交差注意に置き換えています。これにより、直接削除する場合と比較して最小限のオーバーヘッドが導入されます。

コミュニティ向けの新バージョン

コミュニティ向けに新しいバージョン SDXS-512-DreamShaper を使用してください。このバージョンは画質が良く、高速です。

🔧 技術詳細

SDXSは、スコア蒸留と特徴マッチングを用いて学習された、プロンプトテキストに基づいて高解像度の画像をリアルタイムで生成できるモデルです。詳細については、当社の研究論文 SDXS: Real-Time One-Step Latent Diffusion Models with Image Conditions を参照してください。

📄 ライセンス

このモデルはOpenRAIL++ライセンスの下で公開されています。

参考文献

@article{song2024sdxs,
  author    = {Yuda Song, Zehao Sun, Xuanwu Yin},
  title     = {SDXS: Real-Time One-Step Latent Diffusion Models with Image Conditions},
  journal   = {arxiv},
  year      = {2024},
}