Vamba Qwen2 VL 7B

🚀 Vamba

このリポジトリには、Vamba-Qwen2-VL-7B のモデルチェックポイントが含まれています。Vambaは、クロスアテンションレイヤーとMamba-2ブロックを活用したハイブリッドMamba-Transformerモデルで、長時間のビデオを効率的に理解することができます。

🌐 ホームページ | 📖 arXiv | 💻 GitHub | 🤗 モデル

🚀 クイックスタート

# git clone https://github.com/TIGER-AI-Lab/Vamba
# cd Vamba
# export PYTHONPATH=.
from tools.vamba_chat import Vamba
model = Vamba(model_path="TIGER-Lab/Vamba-Qwen2-VL-7B", device="cuda")
test_input = [
    {
        "type": "video",
        "content": "assets/magic.mp4",
        "metadata": {
            "video_num_frames": 128,
            "video_sample_type": "middle",
            "img_longest_edge": 640,
            "img_shortest_edge": 256,
        }
    },
    {
        "type": "text",
        "content": "<video> Describe the magic trick."
    }
]
print(model(test_input))

test_input = [
    {
        "type": "image",
        "content": "assets/old_man.png",
        "metadata": {}
    },
    {
        "type": "text",
        "content": "<image> Describe this image."
    }
]
print(model(test_input))

✨ 主な機能

Vambaモデルアーキテクチャ

TransformerベースのLMMでは、ビデオトークンの自己アテンションの2次的な計算量により、主な計算オーバーヘッドが発生します。この問題を解決するために、テキストとビデオトークンを異なる方法で処理するハイブリッドMamba Transformerアーキテクチャを設計しました。この方法の核心は、高コストな自己アテンション操作を、ビデオとテキストトークンのシーケンス全体に対して行うのではなく、2つのより効率的なコンポーネントに分割することです。通常、ビデオトークンがシーケンスを占め、テキストトークンは少数です。そこで、自己アテンションメカニズムをテキストトークンにのみ適用し、ビデオトークンには適用しないようにします。代わりに、テキストトークンをクエリとし、ビデオトークンをキーとバリューとするクロスアテンションレイヤーを追加します。同時に、Mambaブロックを用いてビデオトークンを効果的に処理することを提案します。

📄 ライセンス

このプロジェクトはMITライセンスの下でライセンスされています。

📚 ドキュメント

引用

もしこの論文が役に立った場合は、以下のように引用してください。

@misc{ren2025vambaunderstandinghourlongvideos,
      title={Vamba: Understanding Hour-Long Videos with Hybrid Mamba-Transformers}, 
      author={Weiming Ren and Wentao Ma and Huan Yang and Cong Wei and Ge Zhang and Wenhu Chen},
      year={2025},
      eprint={2503.11579},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2503.11579}, 
}