Mar

🚀 ベクトル量子化を用いない自己回帰型画像生成

このモデル（MAR）は、ベクトル量子化を必要とせずに自己回帰型画像生成を行う新しいアプローチを導入しています。モデルは、離散トークンに依存するのではなく、拡散プロセスを使用して連続値空間で動作し、各トークンの確率分布をモデル化します。拡散損失関数を採用することで、モデルは自己回帰型シーケンスモデリングの速度の利点を活かしながら、効率的かつ高品質な画像生成を実現します。このアプローチは生成プロセスを簡素化し、画像合成だけでなく、より広い連続値ドメインに適用可能にします。このモデルはこの論文に基づいています。

🚀 クイックスタート

Hugging FaceのDiffusionPipelineを通じて簡単にモデルをロードし、必要に応じてモデルタイプ、ステップ数、クラスラベルなどのさまざまなパラメータをカスタマイズできます。

基本的な使用法

from diffusers import DiffusionPipeline

# load the pretrained model
pipeline = DiffusionPipeline.from_pretrained("jadechoghari/mar", trust_remote_code=True, custom_pipeline="jadechoghari/mar")

# generate an image with the model
generated_image = pipeline(
    model_type="mar_huge",  # choose from 'mar_base', 'mar_large', or 'mar_huge'
    seed=42,                # set a seed for reproducibility
    num_ar_steps=64,        # number of autoregressive steps
    class_labels=[207, 360, 388],  # provide valid ImageNet class labels
    cfg_scale=4,            # classifier-free guidance scale
    output_dir="./images",   # directory to save generated images
    cfg_schedule = "constant", # choose between 'constant' (suggested) and 'linear'
)

# display the generated image
generated_image.show()

このコードはモデルをロードし、画像生成用に設定し、出力を指定されたディレクトリに保存します。

私たちはsafetensors形式の3つの事前学習済みMARモデルを提供しています。

• mar-base.safetensors
• mar-large.safetensors
• mar-huge.safetensors

📚 ドキュメント

引用

@article{li2024autoregressive,
  title={Autoregressive Image Generation without Vector Quantization},
  author={Li, Tianhong and Tian, Yonglong and Li, He and Deng, Mingyang and He, Kaiming},
  journal={arXiv preprint arXiv:2406.11838},
  year={2024}
}

謝辞

Congyue Deng氏とXinlei Chen氏に有益な議論をしていただき、感謝します。また、Google TPU Research Cloud (TRC)にTPUへのアクセスを許可していただき、Google Cloud PlatformにGPUリソースを提供していただいたことに感謝します。

このリポジトリのコードの大部分はMAE、MAGE、DiTに基づいています。

連絡先

何か質問があれば、メール（tianhong@mit.edu）でお問い合わせください。楽しんでください！

📄 ライセンス

このライブラリはMITライセンスの下で提供されています。