Show O2 7B

🚀 Show - o2：改良された統一マルチモーダルモデル

本稿では、改良されたネイティブな統一マルチモーダルモデルである Show - o2 を紹介します。このモデルは、自己回帰モデリングとフローマッチング技術を活用しています。3D 因果変分自己符号化器空間に基づき、空間（-時間）融合の双経路を通じて統一的な視覚表現を構築し、画像と動画のモード間での拡張性を実現し、同時に効果的なマルチモーダル理解と生成を保証します。

📚 概要

本論文では、改良されたネイティブな統一マルチモーダルモデル Show - o2 を提案しています。このモデルは、自己回帰モデリングとフローマッチング技術を活用しています。3D 因果変分自己符号化器空間に基づき、空間（-時間）融合の双経路を通じて統一的な視覚表現を構築することで、画像と動画のモード間での拡張性を実現し、同時に効果的なマルチモーダル理解と生成を保証します。言語モデルに基づき、自己回帰モデリングとフローマッチングはそれぞれ言語ヘッドとフローヘッドに適用され、テキストトークン予測と画像/動画生成を促進します。2段階のトレーニングスキームが設計され、より大きなモデルへの効率的な学習と拡張が可能になります。最終的な Show - o2 モデルは、テキスト、画像、動画などのさまざまなモードを含む広範なマルチモーダル理解と生成タスクを処理する際に汎用性を発揮します。コードとモデルは、この https URL で公開されています。

🆕 Show - o2 の革新点

我々は、テキストトークンと 3D 因果 VAE 空間 上でマルチモーダル理解と生成の統一学習を行っています。この空間は、テキスト、画像、動画モード に対して拡張性を持っています。マルチモーダル理解と生成の異なる特徴依存性に対応するために、空間（-時間）融合の双経路を提案しました。自己回帰モデリングとフローマッチング を備えた特定のヘッドを採用し、マルチモーダル理解、画像/動画、および混合モード生成 の全体的な統一学習を行います。

📦 事前学習済みモデルの重み

Show - o2 のチェックポイントは、Hugging Face で見つけることができます。

• showlab/show - o2 - 1.5B
• showlab/show - o2 - 1.5B - HQ
• showlab/show - o2 - 7B

🚀 クイックスタート

環境構築

まず、環境を設定します。

bash build_env.sh

あなたのマシンまたはサーバーで wandb アカウントにログインします。

wandb login <あなたの wandb キー>

ここ から Wan2.1 3D 因果 VAE モデルの重みをダウンロードし、現在のディレクトリに配置します。

マルチモーダル理解のデモ

wandb で結果を確認できます。

python3 inference_mmu.py config=configs/showo2_7b_demo_432x432.yaml \
                         mmu_image_path=./docs/mmu/pexels-jane-pham-727419-1571673.jpg question='この画像を詳細に説明してください。'

python3 inference_mmu.py config=configs/showo2_7b_demo_432x432.yaml \
                         mmu_image_path=./docs/mmu/pexels-fotios-photos-2923436.jpg question='画像に書かれていることを教えてください。'

python3 inference_mmu.py config=configs/showo2_7b_demo_432x432.yaml \
                         mmu_image_path=./docs/mmu/pexels-taryn-elliott-4144459.jpg question='この画像には（切り開いたものを含めて）アボカドはいくつありますか？アボカドミルクシェイクの作り方を詳しく教えてください。'

テキストから画像への生成デモ

wandb で結果を確認できます。

python3 inference_t2i.py config=configs/showo2_1.5b_demo_1024x1024.yaml \
                         batch_size=4 guidance_scale=7.5 num_inference_steps=50;
         
python3 inference_t2i.py config=configs/showo2_1.5b_demo_512x512.yaml \
                         batch_size=4 guidance_scale=7.5 num_inference_steps=50;
                                      
python3 inference_t2i.py config=configs/showo2_1.5b_demo_432x432.yaml \
                         batch_size=4 guidance_scale=7.5 num_inference_steps=50;

python3 inference_t2i.py config=configs/showo2_7b_demo_432x432.yaml \
                         batch_size=4 guidance_scale=7.5 num_inference_steps=50;

📖 引用

本論文とモデルを引用する場合は、以下の BibTeX を使用してください。

@article{xie2025showo2,
  title={Show - o2: Improved Native Unified Multimodal Models},
  author={Xie, Jinheng and Yang, Zhenheng and Shou, Mike Zheng},
  journal={arXiv preprint},
  year={2025}
}

🙏 謝辞

本研究は主に Show - o に基づいています。

📄 ライセンス

本プロジェクトは Apache - 2.0 ライセンスの下で公開されています。