Pixart

文本编码器 未 经过训练，你可以重用基础模型的文本编码器进行推理。

✨ 主要特性

• 基于 ControlNet PEFT LoRA 技术，提升图像生成效果。
• 支持多种图像生成模式，包括文本到图像、图像到图像。
• 提供详细的验证和训练设置，便于复现和调整。

📦 安装指南

文档未提供安装步骤，故跳过此章节。

💻 使用示例

基础用法

import torch
from diffusers import PixArtSigmaPipeline, PixArtSigmaControlNetPipeline
# if you're not in the SimpleTuner environment, this import will fail.
from helpers.models.pixart.controlnet import PixArtSigmaControlNetAdapterModel

# Load base model
base_model_id = "terminusresearch/pixart-900m-1024-ft-v0.6"
controlnet_id = "bghira/pixart-controlnet-lora-test"

# Load ControlNet adapter
controlnet = PixArtSigmaControlNetAdapterModel.from_pretrained(
    f"{controlnet_id}/controlnet"
)

# Create pipeline
pipeline = PixArtSigmaControlNetPipeline.from_pretrained(
    base_model_id,
    controlnet=controlnet,
    torch_dtype=torch.bfloat16
)
pipeline.to('cuda' if torch.cuda.is_available() else 'cpu')

# Load your control image
from PIL import Image
control_image = Image.open("path/to/control/image.png")

# Generate
prompt = "A photo-realistic image of a cat"
image = pipeline(
    prompt=prompt,
    image=control_image,
    num_inference_steps=16,
    guidance_scale=4.0,
    generator=torch.Generator(device='cuda').manual_seed(42),
    controlnet_conditioning_scale=1.0,
).images[0]

image.save("output.png")

📚 详细文档

验证设置

• CFG: 4.0
• CFG Rescale: 0.0
• Steps: 16
• Sampler: ddim
• Seed: 42
• Resolution: 1024x1024

注意：验证设置不一定与训练设置相同。

训练设置

• 训练轮数：24

• 训练步数：150

• 学习率：0.0001

  • 学习率调度：恒定
  • 热身步数：500

• 最大梯度值：0.01

• 有效批量大小：1

  • 微批量大小：1
  • 梯度累积步数：1
  • GPU 数量：1

• 梯度检查点：否

• 预测类型：epsilon（额外参数=['training_scheduler_timestep_spacing=trailing', 'inference_scheduler_timestep_spacing=trailing', 'controlnet_enabled']）

• 优化器：adamw_bf16

• 可训练参数精度：纯 BF16

• 基础模型精度：no_change

• 字幕丢弃概率：0.0%

• LoRA 秩：64

• LoRA 阿尔法：64.0

• LoRA 丢弃率：0.1

• LoRA 初始化风格：默认

数据集

antelope-data-1024

• 重复次数：0
• 图像总数：6
• 纵横比桶总数：1
• 分辨率：1.048576 兆像素
• 裁剪：是
• 裁剪风格：居中
• 裁剪纵横比：正方形
• 用于正则化数据：否

🔧 技术细节

文档未提供足够的技术实现细节（少于50字），故跳过此章节。

📄 许可证

• 许可证：openrail++