Leo Cat Sdxl Lora V2

🚀 SDXL LoRA DreamBooth - greerben0/leo-cat-sdxl-lora-v2

本項目是基於Stable Diffusion XL的LoRA模型，可用於生成特定風格的圖像，通過訓練特定概念，能讓模型生成包含特定元素（如LEO貓）的圖像，為文本到圖像的生成任務提供了更豐富的選擇。

🚀 快速開始

模型描述

這些是適用於 stabilityai/stable-diffusion-xl-base-1.0 的 greerben0/leo-cat-sdxl-lora-v2 LoRA適配權重。

下載模型

可搭配如AUTOMATIC1111、Comfy UI、SD.Next、Invoke等用戶界面使用。

• LoRA：點擊 此處 💾 下載 leo-cat-sdxl-lora-v2.safetensors。
  • 將其放置在 models/Lora 文件夾中。
  • 在AUTOMATIC1111中，通過在提示詞中添加 <lora:leo-cat-sdxl-lora-v2:1> 來加載LoRA。在ComfyUI中，像加載常規LoRA一樣加載。
• 嵌入向量：點擊 此處 💾 下載 leo-cat-sdxl-lora-v2_emb.safetensors。
  • 將其放置在 embeddings 文件夾中。
  • 通過在提示詞中添加 leo-cat-sdxl-lora-v2_emb 來使用。例如，photo of a LEO cat（此LoRA的訓練同時使用了LoRA和嵌入向量，因此兩者都需要）。

使用🧨 diffusers庫

from diffusers import AutoPipelineForText2Image
import torch
from huggingface_hub import hf_hub_download
from safetensors.torch import load_file
        
pipeline = AutoPipelineForText2Image.from_pretrained('stabilityai/stable-diffusion-xl-base-1.0', torch_dtype=torch.float16).to('cuda')
pipeline.load_lora_weights('greerben0/leo-cat-sdxl-lora-v2', weight_name='pytorch_lora_weights.safetensors')
embedding_path = hf_hub_download(repo_id='greerben0/leo-cat-sdxl-lora-v2', filename='leo-cat-sdxl-lora-v2_emb.safetensors', repo_type="model")
state_dict = load_file(embedding_path)
pipeline.load_textual_inversion(state_dict["clip_l"], token=[], text_encoder=pipeline.text_encoder, tokenizer=pipeline.tokenizer)
pipeline.load_textual_inversion(state_dict["clip_g"], token=[], text_encoder=pipeline.text_encoder_2, tokenizer=pipeline.tokenizer_2)
        
image = pipeline('a LEO cat on the floor').images[0]

更多細節，包括LoRA的加權、合併和融合，請查看 diffusers中加載LoRA的文檔。

觸發詞

要觸發已訓練概念的圖像生成，在提示詞中用新插入的標記替換每個概念標識符： 要觸發概念 TOK → 在提示詞中使用 <s0><s1>

📚 詳細文檔

詳細信息

所有 文件與版本。

權重使用 🧨 diffusers高級Dreambooth訓練腳本 進行訓練。

• 啟用文本編碼器的LoRA：否。
• 啟用關鍵調優：是。
• 訓練使用的特殊VAE：madebyollin/sdxl-vae-fp16-fix。

📄 許可證

本項目採用 openrail++ 許可證。