Pixartオープンソース画像生成モデル - テキストから画像、画像から画像への変換を無料で実現

ホーム

Pixart

ControlNetLoRAによって開発

PixArt - 900MをベースとしたControlNet PEFT LoRAモデルで、画像生成に使用され、テキストから画像および画像から画像への変換をサポートします。

画像生成 #ControlNet画像生成 #LoRA微調整 #高解像度画像

ダウンロード数 893

リリース時間 : 6/15/2025

モデル概要

このプロジェクトは、PixArt - 900MをベースとしたControlNet PEFT LoRAモデルで、主に画像生成タスクに使用され、高品質なテキストから画像および画像から画像への変換を実現できます。

モデル特徴

ControlNet PEFT LoRA技術

ControlNet PEFT LoRA技術を採用し、画像生成の効果を向上させます。

マルチモードサポート

テキストから画像および画像から画像への複数の生成モードをサポートします。

効率的なトレーニング

詳細なトレーニングと検証の設定を提供し、再現と調整を容易にします。

モデル能力

テキストから画像の生成

画像から画像への変換

使用事例

画像生成

リアルな猫の画像を生成する

プロンプト「A photo - realistic image of a cat」を使用して、高品質な猫の画像を生成します。

サンプル画像はギャラリーで確認できます。

🚀 pixart-controlnet-lora-test

これは terminusresearch/pixart-900m-1024-ft-v0.6 に基づくControlNet PEFT LoRAです。このプロジェクトは主に画像生成に使用され、テキストから画像、画像から画像への変換を実現し、画像生成分野に新しい解決策を提供します。

🚀 クイックスタート

このプロジェクトの主な検証プロンプトはトレーニング中に使用されます：

A photo-realistic image of a cat

いくつかのサンプル画像は以下のギャラリーで見ることができます：

テキストエンコーダはトレーニングされていません。ベースモデルのテキストエンコーダを再利用して推論を行うことができます。

✨ 主な機能

ControlNet PEFT LoRA技術に基づいて、画像生成の効果を向上させます。
テキストから画像、画像から画像など、複数の画像生成モードをサポートします。
詳細な検証とトレーニング設定を提供し、再現と調整を容易にします。

💻 使用例

基本的な使用法

import torch
from diffusers import PixArtSigmaPipeline, PixArtSigmaControlNetPipeline
# if you're not in the SimpleTuner environment, this import will fail.
from helpers.models.pixart.controlnet import PixArtSigmaControlNetAdapterModel

# Load base model
base_model_id = "terminusresearch/pixart-900m-1024-ft-v0.6"
controlnet_id = "bghira/pixart-controlnet-lora-test"

# Load ControlNet adapter
controlnet = PixArtSigmaControlNetAdapterModel.from_pretrained(
    f"{controlnet_id}/controlnet"
)

# Create pipeline
pipeline = PixArtSigmaControlNetPipeline.from_pretrained(
    base_model_id,
    controlnet=controlnet,
    torch_dtype=torch.bfloat16
)
pipeline.to('cuda' if torch.cuda.is_available() else 'cpu')

# Load your control image
from PIL import Image
control_image = Image.open("path/to/control/image.png")

# Generate
prompt = "A photo-realistic image of a cat"
image = pipeline(
    prompt=prompt,
    image=control_image,
    num_inference_steps=16,
    guidance_scale=4.0,
    generator=torch.Generator(device='cuda').manual_seed(42),
    controlnet_conditioning_scale=1.0,
).images[0]

image.save("output.png")

📚 ドキュメント

検証設定

CFG: 4.0
CFG Rescale: 0.0
Steps: 16
Sampler: ddim
Seed: 42
Resolution: 1024x1024

注意：検証設定はトレーニング設定と必ずしも同じではありません。

トレーニング設定

トレーニングエポック数：24
トレーニングステップ数：150
学習率：0.0001
- 学習率スケジューリング：一定
- ウォームアップステップ数：500
最大勾配値：0.01
有効バッチサイズ：1
- マイクロバッチサイズ：1
- 勾配累積ステップ数：1
- GPU数：1
勾配チェックポイント：いいえ
予測タイプ：epsilon（追加パラメータ=['training_scheduler_timestep_spacing=trailing', 'inference_scheduler_timestep_spacing=trailing', 'controlnet_enabled']）
オプティマイザ：adamw_bf16
学習可能パラメータ精度：純粋なBF16
ベースモデル精度：no_change
字幕ドロップアウト確率：0.0%
LoRAランク：64
LoRAアルファ：64.0
LoRAドロップアウト率：0.1
LoRA初期化スタイル：デフォルト