Sd35m Sfwbooru Lokr

🚀 sd35m-sfwbooru-lokr

这是一个基于 stabilityai/stable-diffusion-3.5-medium 的标准PEFT LoRA模型。该模型可用于生成高质量的图像，在图像生成领域具有重要的应用价值。

🚀 快速开始

推理示例

以下是使用该模型进行推理的示例代码：

import torch
from diffusers import DiffusionPipeline

model_id = 'stabilityai/stable-diffusion-3.5-medium'
adapter_id = 'bghira/sd35m-sfwbooru-lokr'
pipeline = DiffusionPipeline.from_pretrained(model_id, torch_dtype=torch.bfloat16) # loading directly in bf16
pipeline.load_lora_weights(adapter_id)

prompt = "A photo-realistic image of a cat"
negative_prompt = 'blurry, cropped, ugly'

## Optional: quantise the model to save on vram.
## Note: The model was not quantised during training, so it is not necessary to quantise it during inference time.
#from optimum.quanto import quantize, freeze, qint8
#quantize(pipeline.transformer, weights=qint8)
#freeze(pipeline.transformer)
    
pipeline.to('cuda' if torch.cuda.is_available() else 'mps' if torch.backends.mps.is_available() else 'cpu') # the pipeline is already in its target precision level
model_output = pipeline(
    prompt=prompt,
    negative_prompt=negative_prompt,
    num_inference_steps=30,
    generator=torch.Generator(device='cuda' if torch.cuda.is_available() else 'mps' if torch.backends.mps.is_available() else 'cpu').manual_seed(42),
    width=1024,
    height=1024,
    guidance_scale=3.2,
    skip_guidance_layers=[7, 8, 9],
).images[0]

model_output.save("output.png", format="PNG")

验证设置

• CFG: 3.2
• CFG Rescale: 0.0
• 步数: 30
• 采样器: FlowMatchEulerDiscreteScheduler
• 随机种子: 42
• 分辨率: 1024x1024
• 跳过层引导: skip_guidance_layers=[7, 8, 9]

注意：验证设置不一定与训练设置相同。

示例图像

你可以在以下图库中找到一些示例图像：

文本编码器

文本编码器未进行训练。你可以重用基础模型的文本编码器进行推理。

✨ 主要特性

• 基于 stabilityai/stable-diffusion-3.5-medium 基础模型，生成高质量图像。
• 训练过程中使用特定的验证提示和设置，确保模型性能。
• 提供了详细的训练设置和数据集信息。

📦 安装指南

文档未提供安装相关内容，可参考基础模型 stabilityai/stable-diffusion-3.5-medium 的安装说明。

📚 详细文档

训练设置

• 训练轮数: 4
• 训练步数: 264250
• 学习率: 1.0
  • 学习率调度: 余弦
  • 热身步数: 500000
• 最大梯度值: 0.0
• 有效批量大小: 6
  • 微批量大小: 6
  • 梯度累积步数: 1
  • GPU数量: 1
• 梯度检查点: 启用
• 预测类型: 流匹配 (额外参数=['shift=3'])
• 优化器: prodigyd0=1e-8,eps=1e-8
• 可训练参数精度: 纯BF16
• 基础模型精度: no_change
• 字幕丢弃概率: 10.0%
• LoRA秩: 16
• LoRA Alpha: 无
• LoRA丢弃率: 0.1
• LoRA初始化风格: 默认

数据集

sfwbooru-crop

• 重复次数: 0
• 图像总数: 363920
• 纵横比桶总数: 1
• 分辨率: 1.048576 兆像素
• 裁剪: 是
• 裁剪风格: 随机
• 裁剪纵横比: 方形
• 用于正则化数据: 否

🔧 技术细节

指数移动平均 (EMA)

SimpleTuner 生成了 EMA 权重的 safetensors 变体和一个 pt 文件。safetensors 文件用于推理，pt 文件用于继续微调。EMA 模型可能会提供更全面的结果，但与完整模型相比，通常会感觉训练不足，因为它是模型权重的运行衰减平均值。

📄 许可证

该项目使用其他许可证。具体许可证信息请参考相关文件。