Vangogh SDXL LoRA

🚀 SDXL LoRA DreamBooth - inventwithdean/vangogh-SDXL-LoRA

このモデルは、StableDiffusionXLを用いたLoRA（Low-Rank Adaptation）モデルです。特定のスタイルやコンセプトを学習し、テキストから画像を生成する際にそれらを反映させることができます。

🚀 クイックスタート

モデルのダウンロード

このモデルは、AUTOMATIC1111、Comfy UI、SD.Next、InvokeなどのUIで使用できます。

• LoRA：vangogh-SDXL-LoRA.safetensors ここからダウンロード 💾。
  • models/Lora フォルダに配置します。
  • AUTOMATIC1111では、プロンプトに <lora:vangogh-SDXL-LoRA:1> を追加することでLoRAをロードします。ComfyUIでは 通常のLoRAとしてロード します。
• Embeddings：vangogh-SDXL-LoRA_emb.safetensors ここからダウンロード 💾。
  • embeddings フォルダに配置します。
  • プロンプトに vangogh-SDXL-LoRA_emb を追加して使用します。例えば、a painting in the style of vangogh-SDXL-LoRA_emb のように。 （このLoRAはLoRAとEmbeddingsを一緒に学習させているため、両方が必要です）

🧨 diffusersライブラリでの使用

from diffusers import AutoPipelineForText2Image
import torch
from huggingface_hub import hf_hub_download
from safetensors.torch import load_file

pipeline = AutoPipelineForText2Image.from_pretrained('stabilityai/stable-diffusion-xl-base-1.0', torch_dtype=torch.float16).to('cuda')
pipeline.load_lora_weights('inventwithdean/vangogh-SDXL-LoRA', weight_name='pytorch_lora_weights.safetensors')
embedding_path = hf_hub_download(repo_id='inventwithdean/vangogh-SDXL-LoRA', filename='vangogh-SDXL-LoRA_emb.safetensors', repo_type="model")
state_dict = load_file(embedding_path)
pipeline.load_textual_inversion(state_dict["clip_l"], token=["<s0>", "<s1>"], text_encoder=pipeline.text_encoder, tokenizer=pipeline.tokenizer)
pipeline.load_textual_inversion(state_dict["clip_g"], token=["<s0>", "<s1>"], text_encoder=pipeline.text_encoder_2, tokenizer=pipeline.tokenizer_2)

image = pipeline('a painting in the style of <s0><s1>, gorgeous red roses in a pot, with blue clouds in background').images[0]

LoRAの重み付け、マージ、融合などの詳細については、diffusersでのLoRAのロードに関するドキュメント を参照してください。

✨ 主な機能

トリガーワードの使用

学習したコンセプトの画像生成をトリガーするには、プロンプト内の各コンセプト識別子を新しく挿入されたトークンに置き換えます。

コンセプト TOK をトリガーするには、プロンプトで <s0><s1> を使用します。

🔧 技術詳細

ファイルとバージョン

すべての ファイルとバージョン を参照できます。

学習方法

このモデルの重みは、🧨 diffusers Advanced Dreambooth Training Script を使用して学習されました。

• テキストエンコーダのLoRA：無効
• ピボタルチューニング：有効
• 学習に使用された特殊なVAE：madebyollin/sdxl-vae-fp16-fix

📄 ライセンス

このモデルは、OpenRAIL++ライセンスの下で提供されています。