Sdxl Chinese Ink Lora

🚀 中国水墨画生成モデル

このモデルは、現代中国水墨画を元にStable Diffusion XL をファインチューニングしたもので、テキストから中国水墨画風の画像を生成できます。

🚀 クイックスタート

必要ライブラリのインストール

推論プロセスは LCM - LORA を使用して高速化されています。必要なライブラリが最新版であることを確認してください。

pip install --upgrade pip
pip install --upgrade diffusers transformers accelerate peft
pip install matplotlib

テキストから画像への変換

ここでは、サンプルの高速化用の LCM - LORA と、スタイル付きレンダリング用の Chinese_Ink_LORA の2つのアダプターをベースモデル stabilityai/stable - diffusion - xl - base - 1.0 とともにロードする必要があります。次に、スケジューラを LCMScheduler に変更し、推論ステップ数を2〜8ステップに減らすことができます（実験では8ステップを使用）。

import torch
from diffusers import DiffusionPipeline, LCMScheduler
import matplotlib.pyplot as plt

pipe = DiffusionPipeline.from_pretrained("stabilityai/stable-diffusion-xl-base-1.0",
                                         variant="fp16",
                                         torch_dtype=torch.float16
                                         ).to("cuda")
# set scheduler
pipe.scheduler = LCMScheduler.from_config(pipe.scheduler.config)

# load LoRAs
pipe.load_lora_weights("latent-consistency/lcm-lora-sdxl", adapter_name="lcm")
pipe.load_lora_weights("ming-yang/sdxl_chinese_ink_lora", adapter_name="Chinese Ink")

# Combine LoRAs
pipe.set_adapters(["lcm", "Chinese Ink"], adapter_weights=[1.0, 0.8])

prompts = ["Chinese Ink, mona lisa picture, 8k", "mona lisa, 8k"]
generator = torch.manual_seed(1)
images = [pipe(prompt, num_inference_steps=8, guidance_scale=1, generator=generator).images[0] for prompt in prompts]

fig, axs = plt.subplots(1, 2, figsize=(40, 20))

axs[0].imshow(images[0])
axs[0].axis('off')  # 不显示坐标轴

axs[1].imshow(images[1])
axs[1].axis('off')
plt.show()

✨ 主な機能

• テキスト入力に基づいて中国水墨画風の画像を生成します。
• LCM - LORA を使用して推論速度を向上させます。

💻 使用例

基本的な使用法

画像生成をトリガーするには、Chinese Ink を使用する必要があります。以下はいくつかの使用例です。

📦 モデルのダウンロード

このモデルのウェイトは Safetensors 形式で利用可能です。 ダウンロード は「Files & versions」タブから行えます。

📄 ライセンス

このモデルは creativeml - openrail - m ライセンスの下で提供されています。