Sdxl

🚀 simpletuner-controlnet-sdxl-lora-test

这是一个基于 stabilityai/stable-diffusion-xl-base-1.0 的 ControlNet PEFT LoHa。

在训练过程中使用的主要验证提示为：

一张逼真的猫的照片

🚀 快速开始

此项目基于特定的基础模型和验证提示进行训练，可通过以下步骤进行推理操作。

✨ 主要特性

• 基于 ControlNet PEFT LoHa 技术，从 stabilityai/stable-diffusion-xl-base-1.0 模型派生而来。
• 可实现文本到图像的转换，生成逼真的图像。
• 训练和验证过程有详细的参数设置，保证模型的稳定性和准确性。

📦 安装指南

文档未提及具体安装步骤，可参考相关依赖库的官方文档进行安装，如 diffusers、torch 等。

💻 使用示例

基础用法

import torch
from diffusers import DiffusionPipeline

model_id = 'stabilityai/stable-diffusion-xl-base-1.0'
adapter_id = 'bghira/simpletuner-controlnet-sdxl-lora-test'
pipeline = DiffusionPipeline.from_pretrained(model_id, torch_dtype=torch.bfloat16) # loading directly in bf16
pipeline.load_lora_weights(adapter_id)

prompt = "A photo-realistic image of a cat"
negative_prompt = 'blurry, cropped, ugly'

## Optional: quantise the model to save on vram.
## Note: The model was not quantised during training, so it is not necessary to quantise it during inference time.
#from optimum.quanto import quantize, freeze, qint8
#quantize(pipeline.unet, weights=qint8)
#freeze(pipeline.unet)
    
pipeline.to('cuda' if torch.cuda.is_available() else 'mps' if torch.backends.mps.is_available() else 'cpu') # the pipeline is already in its target precision level
model_output = pipeline(
    prompt=prompt,
    negative_prompt=negative_prompt,
    num_inference_steps=20,
    generator=torch.Generator(device='cuda' if torch.cuda.is_available() else 'mps' if torch.backends.mps.is_available() else 'cpu').manual_seed(42),
    width=1024,
    height=1024,
    guidance_scale=4.2,
    guidance_rescale=0.0,
).images[0]

model_output.save("output.png", format="PNG")

高级用法

文档未提及高级用法相关代码示例，可根据实际需求调整推理参数，如 prompt、negative_prompt、num_inference_steps 等。

📚 详细文档

验证设置

• CFG：4.2
• CFG 重缩放：0.0
• 步数：20
• 采样器：ddim
• 种子：42
• 分辨率：1024x1024

注意：验证设置不一定与 训练设置 相同。

你可以在以下图库中找到一些示例图像：