Sofa And Light Sdxl Lora

🚀 SDXL LoRA DreamBooth - prampampam/sofa-and-light-sdxl-lora

本項目是基於Stable Diffusion XL的LoRA模型，可用於生成帶有特定風格沙發和燈光的客廳照片，為文本到圖像的生成任務提供了新的選擇。

🚀 快速開始

模型描述

這些是 prampampam/sofa-and-light-sdxl-lora 的LoRA適配權重，基於 stabilityai/stable-diffusion-xl-base-1.0 模型。

下載模型

可在以下用戶界面（UI）中使用該模型，如AUTOMATIC1111、Comfy UI、SD.Next、Invoke。

• LoRA：點擊 sofa-and-light-sdxl-lora.safetensors 此處下載 💾。
  • 將其放置在 models/Lora 文件夾中。
  • 在AUTOMATIC1111中，通過在提示詞中添加 <lora:sofa-and-light-sdxl-lora:1> 來加載LoRA。在ComfyUI中，按照 常規LoRA加載方式 操作。
• 嵌入向量：點擊 sofa-and-light-sdxl-lora_emb.safetensors 此處下載 💾。
  • 將其放置在 embeddings 文件夾中。
  • 在提示詞中添加 sofa-and-light-sdxl-lora_emb 來使用。例如，a photo of living room with sofa-and-light-sdxl-lora_emb and in scandinavic style。 （此LoRA的LoRA權重和嵌入向量是一起訓練的，因此兩者都需要）

使用 🧨 diffusers 庫

from diffusers import AutoPipelineForText2Image
import torch
from huggingface_hub import hf_hub_download
from safetensors.torch import load_file

pipeline = AutoPipelineForText2Image.from_pretrained('stabilityai/stable-diffusion-xl-base-1.0', torch_dtype=torch.float16).to('cuda')
pipeline.load_lora_weights('prampampam/sofa-and-light-sdxl-lora', weight_name='pytorch_lora_weights.safetensors')
embedding_path = hf_hub_download(repo_id='prampampam/sofa-and-light-sdxl-lora', filename='sofa-and-light-sdxl-lora_emb.safetensors', repo_type="model")
state_dict = load_file(embedding_path)
pipeline.load_textual_inversion(state_dict["clip_l"], token=["<s0>", "<s1>", "<s2>", "<s3>"], text_encoder=pipeline.text_encoder, tokenizer=pipeline.tokenizer)
pipeline.load_textual_inversion(state_dict["clip_g"], token=["<s0>", "<s1>", "<s2>", "<s3>"], text_encoder=pipeline.text_encoder_2, tokenizer=pipeline.tokenizer_2)

image = pipeline('a photo of living room with <s0><s1> and <s2><s3>').images[0]

更多細節，包括LoRA的加權、合併和融合，請查看 diffusers中加載LoRA的文檔。

觸發詞

要觸發訓練概念的圖像生成，需在提示詞中用新插入的標記替換每個概念標識符：

• 觸發概念 TOK1 → 在提示詞中使用 <s0><s1>。
• 觸發概念 TOK2 → 在提示詞中使用 <s2><s3>。

📚 詳細文檔

模型文件

所有 文件和版本。

訓練詳情

• 權重使用 🧨 diffusers高級Dreambooth訓練腳本 進行訓練。
• 文本編碼器的LoRA已啟用：否。
• 關鍵調優已啟用：是。
• 訓練使用的特殊VAE：madebyollin/sdxl-vae-fp16-fix。

📄 許可證

本模型使用的許可證為 openrail++。