Dnd SDXL LoRA

🚀 SDXL LoRA DreamBooth - weasley24/dnd-SDXL-LoRA

本項目是基於Stable Diffusion XL的LoRA模型，可用於生成與龍與地下城（DND）相關的圖像，為文本到圖像的轉換提供了強大的支持。

🚀 快速開始

模型描述

這些是針對 stabilityai/stable-diffusion-xl-base-1.0 的 weasley24/dnd-SDXL-LoRA LoRA適配權重。

下載模型

可以在諸如AUTOMATIC1111、Comfy UI、SD.Next、Invoke等用戶界面中使用該模型。

• LoRA：點擊 dnd-SDXL-LoRA.safetensors 此處下載 💾。
  • 將其放置在 models/Lora 文件夾中。
  • 在AUTOMATIC1111中，通過在提示詞中添加 <lora:dnd-SDXL-LoRA:1> 來加載LoRA。在ComfyUI中，按照 常規LoRA加載方式 操作。
• 嵌入文件：點擊 dnd-SDXL-LoRA_emb.safetensors 此處下載 💾。
  • 將其放置在 embeddings 文件夾中。
  • 在提示詞中添加 dnd-SDXL-LoRA_emb 來使用它。例如，DND dnd-SDXL-LoRA_emb （由於該LoRA的LoRA文件和嵌入文件是一起訓練的，因此需要同時使用這兩個文件）

使用 🧨 diffusers 庫

from diffusers import AutoPipelineForText2Image
import torch
from huggingface_hub import hf_hub_download
from safetensors.torch import load_file
        
pipeline = AutoPipelineForText2Image.from_pretrained('stabilityai/stable-diffusion-xl-base-1.0', torch_dtype=torch.float16).to('cuda')
pipeline.load_lora_weights('weasley24/dnd-SDXL-LoRA', weight_name='pytorch_lora_weights.safetensors')
embedding_path = hf_hub_download(repo_id='weasley24/dnd-SDXL-LoRA', filename='dnd-SDXL-LoRA_emb.safetensors', repo_type="model")
state_dict = load_file(embedding_path)
pipeline.load_textual_inversion(state_dict["clip_l"], token=["<s0>", "<s1>"], text_encoder=pipeline.text_encoder, tokenizer=pipeline.tokenizer)
pipeline.load_textual_inversion(state_dict["clip_g"], token=["<s0>", "<s1>"], text_encoder=pipeline.text_encoder_2, tokenizer=pipeline.tokenizer_2)
        
image = pipeline('DND <s0><s1> Elandorr riding Gilda, scene <s0><s1>').images[0]

有關更多詳細信息，包括LoRA的加權、合併和融合，請查看 diffusers中加載LoRA的文檔。

觸發詞

要觸發已訓練概念的圖像生成，請在提示詞中用新插入的標記替換每個概念標識符： 要觸發概念 TOK → 在提示詞中使用 <s0><s1>

🔧 技術細節

文件與版本

所有 文件和版本。

訓練信息

• 權重使用 🧨 diffusers高級Dreambooth訓練腳本 進行訓練。
• 文本編碼器的LoRA已啟用：否。
• 關鍵調優已啟用：是。
• 訓練使用的特殊VAE：madebyollin/sdxl-vae-fp16-fix。

📄 許可證

本項目採用 openrail++ 許可證。