Pixart

文本編碼器 未 經過訓練，你可以重用基礎模型的文本編碼器進行推理。

✨ 主要特性

• 基於 ControlNet PEFT LoRA 技術，提升圖像生成效果。
• 支持多種圖像生成模式，包括文本到圖像、圖像到圖像。
• 提供詳細的驗證和訓練設置，便於復現和調整。

📦 安裝指南

文檔未提供安裝步驟，故跳過此章節。

💻 使用示例

基礎用法

import torch
from diffusers import PixArtSigmaPipeline, PixArtSigmaControlNetPipeline
# if you're not in the SimpleTuner environment, this import will fail.
from helpers.models.pixart.controlnet import PixArtSigmaControlNetAdapterModel

# Load base model
base_model_id = "terminusresearch/pixart-900m-1024-ft-v0.6"
controlnet_id = "bghira/pixart-controlnet-lora-test"

# Load ControlNet adapter
controlnet = PixArtSigmaControlNetAdapterModel.from_pretrained(
    f"{controlnet_id}/controlnet"
)

# Create pipeline
pipeline = PixArtSigmaControlNetPipeline.from_pretrained(
    base_model_id,
    controlnet=controlnet,
    torch_dtype=torch.bfloat16
)
pipeline.to('cuda' if torch.cuda.is_available() else 'cpu')

# Load your control image
from PIL import Image
control_image = Image.open("path/to/control/image.png")

# Generate
prompt = "A photo-realistic image of a cat"
image = pipeline(
    prompt=prompt,
    image=control_image,
    num_inference_steps=16,
    guidance_scale=4.0,
    generator=torch.Generator(device='cuda').manual_seed(42),
    controlnet_conditioning_scale=1.0,
).images[0]

image.save("output.png")

📚 詳細文檔

驗證設置

• CFG: 4.0
• CFG Rescale: 0.0
• Steps: 16
• Sampler: ddim
• Seed: 42
• Resolution: 1024x1024

注意：驗證設置不一定與訓練設置相同。

訓練設置

• 訓練輪數：24

• 訓練步數：150

• 學習率：0.0001

  • 學習率調度：恆定
  • 熱身步數：500

• 最大梯度值：0.01

• 有效批量大小：1

  • 微批量大小：1
  • 梯度累積步數：1
  • GPU 數量：1

• 梯度檢查點：否

• 預測類型：epsilon（額外參數=['training_scheduler_timestep_spacing=trailing', 'inference_scheduler_timestep_spacing=trailing', 'controlnet_enabled']）

• 優化器：adamw_bf16

• 可訓練參數精度：純 BF16

• 基礎模型精度：no_change

• 字幕丟棄概率：0.0%

• LoRA 秩：64

• LoRA 阿爾法：64.0

• LoRA 丟棄率：0.1

• LoRA 初始化風格：默認

數據集

antelope-data-1024

• 重複次數：0
• 圖像總數：6
• 縱橫比桶總數：1
• 分辨率：1.048576 兆像素
• 裁剪：是
• 裁剪風格：居中
• 裁剪縱橫比：正方形
• 用於正則化數據：否

🔧 技術細節

文檔未提供足夠的技術實現細節（少於50字），故跳過此章節。

📄 許可證

• 許可證：openrail++