Mar Test2

🚀 ベクトル量子化を用いない自己回帰型画像生成

このモデル（MAR）は、ベクトル量子化を必要としない独自のアプローチで自己回帰型画像生成を行います。離散トークンに依存する代わりに、このモデルは拡散プロセスを使用して連続値空間で動作し、各トークンの確率分布をモデル化します。拡散損失関数を採用することで、このモデルは自己回帰型シーケンスモデリングの速度の利点を活かしながら、効率的かつ高品質な画像生成を実現します。このアプローチは生成プロセスを簡素化し、画像合成だけでなく、より広い連続値領域に適用可能になります。このモデルはthis paperに基づいています。

🚀 クイックスタート

このモデルを使って画像生成を行う方法を説明します。

✨ 主な機能

• ベクトル量子化を必要としない独自のアプローチで自己回帰型画像生成を行います。
• 拡散プロセスを使用して連続値空間で動作し、各トークンの確率分布をモデル化します。
• 拡散損失関数を採用することで、効率的かつ高品質な画像生成を実現します。
• 自己回帰型シーケンスモデリングの速度の利点を活かします。
• 生成プロセスを簡素化し、画像合成だけでなく、より広い連続値領域に適用可能です。

📦 インストール

このモデルはHugging FaceのDiffusionPipelineを通じて簡単にロードできます。必要に応じて、モデルタイプ、ステップ数、クラスラベルなどのさまざまなパラメータをカスタマイズできます。

💻 使用例

基本的な使用法

from diffusers import DiffusionPipeline

# load the pretrained model
pipeline = DiffusionPipeline.from_pretrained("jadechoghari/mar", trust_remote_code=True, custom_pipeline="jadechoghari/mar")

# generate an image with the model
generated_image = pipeline(
    model_type="mar_huge",  # choose from 'mar_base', 'mar_large', or 'mar_huge'
    seed=42,                # set a seed for reproducibility
    num_ar_steps=64,        # number of autoregressive steps
    class_labels=[207, 360, 388],  # provide valid ImageNet class labels
    cfg_scale=4,            # classifier-free guidance scale
    output_dir="./images",   # directory to save generated images
    cfg_schedule = "constant", # choose between 'constant' (suggested) and 'linear'
)

# display the generated image
generated_image.show()

このコードはモデルをロードし、画像生成用に設定し、出力を指定されたディレクトリに保存します。

当社では、safetensors形式の3つの事前学習済みMARモデルを提供しています。

• mar-base.safetensors
• mar-large.safetensors
• mar-huge.safetensors

📚 ドキュメント

このモデルは論文Autoregressive Image Generation without Vector QuantizationのHugging Face Diffusers/GPU実装です。公式のPyTorch実装はthis repositoryで公開されています。

@article{li2024autoregressive,
  title={Autoregressive Image Generation without Vector Quantization},
  author={Li, Tianhong and Tian, Yonglong and Li, He and Deng, Mingyang and He, Kaiming},
  journal={arXiv preprint arXiv:2406.11838},
  year={2024}
}

📄 ライセンス

このライブラリはMITライセンスの下で公開されています。

謝辞

Congyue Deng氏とXinlei Chen氏に有益な議論をしていただき、感謝します。Google TPU Research Cloud (TRC)にTPUへのアクセスを許可していただき、Google Cloud PlatformにGPUリソースを提供していただき、感謝します。

このリポジトリのコードの大部分はMAE、MAGE、およびDiTに基づいています。

連絡先

何か質問があれば、メール(tianhong@mit.edu)でお問い合わせください。楽しんでください！