Show O2 1.5B

🚀 Show-o2：改良されたネイティブ統一マルチモーダルモデル

Show-o2は改良されたネイティブ統一マルチモーダルモデルで、テキストトークンと3D因果VAE空間上でマルチモーダル理解と生成の統一学習を行い、テキスト、画像、ビデオモードに拡張可能です。このモデルは、マルチモーダル理解と生成における異なる特徴依存性に対応するために、双経路の空間（-時間）融合方法を提案しています。

🚀 クイックスタート

環境構築

まず、実行環境を設定します。

bash build_env.sh

あなたのマシンまたはサーバーでWandBアカウントにログインします。

wandb login <your wandb keys>

ここからWan2.1 3D因果VAEモデルの重みをダウンロードし、カレントディレクトリに配置します。

デモンストレーション例

マルチモーダル理解

以下はマルチモーダル理解のデモンストレーションコマンドで、WandB上で結果を確認できます。

python3 inference_mmu.py config=configs/showo2_7b_demo_432x432.yaml \
                         mmu_image_path=./docs/mmu/pexels-jane-pham-727419-1571673.jpg question='Describe the image in detail.'

python3 inference_mmu.py config=configs/showo2_7b_demo_432x432.yaml \
                         mmu_image_path=./docs/mmu/pexels-fotios-photos-2923436.jpg question='请告诉我图片中写着什么？'

python3 inference_mmu.py config=configs/showo2_7b_demo_432x432.yaml \
                         mmu_image_path=./docs/mmu/pexels-taryn-elliott-4144459.jpg question='How many avocados (including the halved) are in this image? Tell me how to make an avocado milkshake in detail.'

テキストから画像生成

以下はテキストから画像生成のデモンストレーションコマンドで、同様にWandB上で結果を確認できます。

python3 inference_t2i.py config=configs/showo2_1.5b_demo_1024x1024.yaml \
                         batch_size=4 guidance_scale=7.5 num_inference_steps=50;
         
python3 inference_t2i.py config=configs/showo2_1.5b_demo_512x512.yaml \
                         batch_size=4 guidance_scale=7.5 num_inference_steps=50;
                                      
python3 inference_t2i.py config=configs/showo2_1.5b_demo_432x432.yaml \
                         batch_size=4 guidance_scale=7.5 num_inference_steps=50;

python3 inference_t2i.py config=configs/showo2_7b_demo_432x432.yaml \
                         batch_size=4 guidance_scale=7.5 num_inference_steps=50;

✨ 主な機能

• 統一学習：テキストトークンと3D因果VAE空間上でマルチモーダル理解と生成の統一学習を行い、テキスト、画像、ビデオモードに拡張可能です。
• 双経路融合：マルチモーダル理解と生成における異なる特徴依存性に対応するために、双経路の空間（-時間）融合方法を提案しています。
• 特定のヘッド：特定のヘッドを採用し、自己回帰モデリングと流マッチングを組み合わせて、マルチモーダル理解、画像/ビデオ、混合モード生成の全体的な統一学習を実現します。

📦 事前学習モデルの重み

Show-o2の事前学習モデルの重みは、Hugging Face上で見つけることができます。

• showlab/show-o2-1.5B
• showlab/show-o2-1.5B-HQ
• showlab/show-o2-7B

📚 ドキュメント

引用

関連する論文やモデルを引用する場合は、以下のBibTeX形式を使用してください。

@article{xie2025showo2,
  title={Show-o2: Improved Native Unified Multimodal Models},
  author={Xie, Jinheng and Yang, Zhenheng and Shou, Mike Zheng},
  journal={arXiv preprint},
  year={2025}
}

謝辞

本研究は、Show-oに大きく基づいています。

📄 ライセンス

本プロジェクトは、Apache-2.0ライセンスを採用しています。

Show-o2：改良されたネイティブ統一マルチモーダルモデル

謝金恒¹  楊振恒²  鄭守 Mike¹

¹ 秀実験室、シンガポール国立大学  ² バイトドゥーン