ARPG

🚀 ランダム化並列デコーディングによる自己回帰画像生成

ARPGは、GPTスタイルの因果アーキテクチャでBERTスタイルのマスクモデリングを実行できる、新しい自己回帰画像生成フレームワークです。

💪 FID 1.94 🚀 高速 ♻️ 低メモリ使用量 🎲 ランダム順序 💡 ゼロショット推論

🚀 クイックスタート

ARPGは、GPTスタイルの因果アーキテクチャを用いてBERTスタイルのマスクモデリングを行うことができる自己回帰画像生成フレームワークです。高速で低メモリ使用量という特徴を持ち、多様な画像生成タスクに対応しています。

✨ 主な機能

• BERTスタイルのマスクモデリング：GPTスタイルの因果アーキテクチャでBERTスタイルのマスクモデリングを実行できます。
• 高速かつ低メモリ使用量：FID 1.94という高い性能を維持しながら、高速で低メモリ使用量で画像生成を行えます。
• ランダム順序とゼロショット推論：ランダムな順序で画像生成を行い、ゼロショット推論もサポートしています。

📦 インストール

本プロジェクトはHugging FaceのDiffusersライブラリを使用しています。以下のコードでモデルをロードできます。

💻 使用例

基本的な使用法

from diffusers import DiffusionPipeline

pipeline = DiffusionPipeline.from_pretrained("hp-l33/ARPG", custom_pipeline="hp-l33/ARPG")

class_labels = [207, 360, 388, 113, 355, 980, 323, 979]

generated_image = pipeline(
    model_type="ARPG-XL",       # choose from 'ARPG-L', 'ARPG-XL', or 'ARPG-XXL'
    seed=0,                     # set a seed for reproducibility
    num_steps=64,               # number of autoregressive steps
    class_labels=class_labels,  # provide valid ImageNet class labels
    cfg_scale=4,                # classifier-free guidance scale
    output_dir="./images",      # directory to save generated images
    cfg_schedule="constant",    # choose between 'constant' (suggested) and 'linear'
    sample_schedule="arccos",   # choose between 'arccos' (suggested) and 'cosine'
)

generated_image.show()

高度な使用法

# 高度なパラメータ設定や特殊なシナリオでの使用方法については、上記の基本的な使用法のコードを参考に、必要なパラメータを調整してください。
from diffusers import DiffusionPipeline

pipeline = DiffusionPipeline.from_pretrained("hp-l33/ARPG", custom_pipeline="hp-l33/ARPG")

class_labels = [207, 360, 388, 113, 355, 980, 323, 979]

generated_image = pipeline(
    model_type="ARPG-XL",       # choose from 'ARPG-L', 'ARPG-XL', or 'ARPG-XXL'
    seed=0,                     # set a seed for reproducibility
    num_steps=64,               # number of autoregressive steps
    class_labels=class_labels,  # provide valid ImageNet class labels
    cfg_scale=4,                # classifier-free guidance scale
    output_dir="./images",      # directory to save generated images
    cfg_schedule="constant",    # choose between 'constant' (suggested) and 'linear'
    sample_schedule="arccos",   # choose between 'arccos' (suggested) and 'cosine'
)

generated_image.show()

📚 ドキュメント

著者情報

• Haopeng Li¹
• Jinyue Yang²
• Guoqi Li^2,📧
• Huan Wang^1,📧

¹ 西湖大学 ² 中国科学院自動化研究所

引用方法

この研究があなたの研究に役立った場合、スターを付けるか引用してください。

@article{li2025autoregressive,
    title={Autoregressive Image Generation with Randomized Parallel Decoding},
    author={Haopeng Li and Jinyue Yang and Guoqi Li and Huan Wang},
    journal={arXiv preprint arXiv:2503.10568},
    year={2025}
}

謝辞

LlamaGenのオープンソースコードベースに感謝します。RandARとRARがこの研究にインスピレーションを与えてくれたことに感謝し、またControlARにも感謝します。

📄 ライセンス

本プロジェクトはMITライセンスの下で公開されています。