Videollama2 7B 16F Base

🚀 VideoLLaMA 2: ビデオLLMにおける時空間モデリングと音声理解の進化

VideoLLaMA 2は、ビデオに関する時空間モデリングと音声理解を向上させたマルチモーダル大規模言語モデルです。ビデオに対する質問応答やキャプショニングなどのタスクに対応しています。

VideoLLaMA 2: Advancing Spatial-Temporal Modeling and Audio Understanding in Video-LLMs

もし当プロジェクトが気に入っていただけたら、Githubでスター⭐をいただけると最新のアップデートを受け取れます。

🚀 クイックスタート

推論の実行

以下のコードを実行することで、VideoLLaMA 2を使った推論を行うことができます。

import sys
sys.path.append('./')
from videollama2 import model_init, mm_infer
from videollama2.utils import disable_torch_init


def inference():
    disable_torch_init()

    # Video Inference
    modal = 'video'
    modal_path = 'assets/cat_and_chicken.mp4' 
    instruct = 'What animals are in the video, what are they doing, and how does the video feel?'
   
    # Image Inference
    modal = 'image'
    modal_path = 'assets/sora.png'
    instruct = 'What is the woman wearing, what is she doing, and how does the image feel?'
    
    model_path = 'DAMO-NLP-SG/VideoLLaMA2-7B-16F-Base'
    model, processor, tokenizer = model_init(model_path)
    output = mm_infer(processor[modal](modal_path), instruct, model=model, tokenizer=tokenizer, do_sample=False, modal=modal)

    print(output)

if __name__ == "__main__":
    inference()

✨ 主な機能

• ビデオに対する質問応答やキャプショニングなどのタスクに対応
• 画像に対する質問応答も可能

📚 ドキュメント

📰 ニュース

• [2024.06.12] VideoLLaMA 2のモデルウェイトと技術レポートの第1版をリリースしました。
• [2024.06.03] VideoLLaMA 2の学習、評価、サービングコードをリリースしました。

🌎 モデル一覧

🚀 主要な結果

選択式ビデオQAとビデオキャプショニング

自由記述式ビデオQA

📄 ライセンス

このプロジェクトはApache-2.0ライセンスの下で公開されています。

引用

もしVideoLLaMAがあなたの研究やアプリケーションに役立った場合は、以下のBibTeXを使用して引用してください。

@article{damonlpsg2024videollama2,
  title={VideoLLaMA 2: Advancing Spatial-Temporal Modeling and Audio Understanding in Video-LLMs},
  author={Cheng, Zesen and Leng, Sicong and Zhang, Hang and Xin, Yifei and Li, Xin and Chen, Guanzheng and Zhu, Yongxin and Zhang, Wenqi and Luo, Ziyang and Zhao, Deli and Bing, Lidong},
  journal={arXiv preprint arXiv:2406.07476},
  year={2024},
  url = {https://arxiv.org/abs/2406.07476}
}

@article{damonlpsg2023videollama,
  title = {Video-LLaMA: An Instruction-tuned Audio-Visual Language Model for Video Understanding},
  author = {Zhang, Hang and Li, Xin and Bing, Lidong},
  journal = {arXiv preprint arXiv:2306.02858},
  year = {2023},
  url = {https://arxiv.org/abs/2306.02858}
}