Leo Cat Sdxl Lora V2

📚 詳細な説明

greerben0/leo-cat-sdxl-lora-v2は、stabilityai/stable-diffusion-xl-base-1.0用のLoRAアダプションウェイトです。

📦 インストール

AUTOMATIC1111、Comfy UI、SD.Next、InvokeなどのUIで使用する場合

• LoRA: leo-cat-sdxl-lora-v2.safetensors をここからダウンロード 💾。
  • これを models/Lora フォルダに配置します。
  • AUTOMATIC1111では、プロンプトに <lora:leo-cat-sdxl-lora-v2:1> を追加してLoRAをロードします。ComfyUIでは 通常のLoRAとしてロード します。
• Embeddings: leo-cat-sdxl-lora-v2_emb.safetensors をここからダウンロード 💾。
  • これを embeddings フォルダに配置します。
  • プロンプトに leo-cat-sdxl-lora-v2_emb を追加して使用します。例えば、 photo of a LEO cat のように。 （このLoRAはLoRAとエンベディングを一緒に学習させているため、両方が必要です）

💻 使用例

基本的な使用法

from diffusers import AutoPipelineForText2Image
import torch
from huggingface_hub import hf_hub_download
from safetensors.torch import load_file
        
pipeline = AutoPipelineForText2Image.from_pretrained('stabilityai/stable-diffusion-xl-base-1.0', torch_dtype=torch.float16).to('cuda')
pipeline.load_lora_weights('greerben0/leo-cat-sdxl-lora-v2', weight_name='pytorch_lora_weights.safetensors')
embedding_path = hf_hub_download(repo_id='greerben0/leo-cat-sdxl-lora-v2', filename='leo-cat-sdxl-lora-v2_emb.safetensors', repo_type="model")
state_dict = load_file(embedding_path)
pipeline.load_textual_inversion(state_dict["clip_l"], token=[], text_encoder=pipeline.text_encoder, tokenizer=pipeline.tokenizer)
pipeline.load_textual_inversion(state_dict["clip_g"], token=[], text_encoder=pipeline.text_encoder_2, tokenizer=pipeline.tokenizer_2)
        
image = pipeline('a LEO cat on the floor').images[0]

より詳細な情報、LoRAの重み付け、マージ、融合については、diffusersでのLoRAのロードに関するドキュメント を参照してください。

🔑 トリガーワード

学習したコンセプトの画像生成をトリガーするには、プロンプト内の各コンセプト識別子を新しく挿入されたトークンに置き換えます。

コンセプト TOK をトリガーするには → プロンプトで <s0><s1> を使用します。

🔧 技術詳細

すべての ファイルとバージョン。

このウェイトは 🧨 diffusers Advanced Dreambooth Training Script を使用して学習されました。

テキストエンコーダのLoRAは有効にされていません。False。

ピボタルチューニングは有効にされています。True。

学習に使用された特別なVAE: madebyollin/sdxl-vae-fp16-fix。

📄 ライセンス

openrail++