Videollama2.1 7B AV CoT

🚀 VideoLLaMA 2：推进视频大语言模型中的时空建模与音频理解

VideoLLaMA 2 是一款视频大语言模型，在时空建模和音频理解方面取得了显著进展，可用于视听问答等多模态任务。

项目信息

VideoLLaMA 2: Advancing Spatial-Temporal Modeling and Audio Understanding in Video-LLMs

如果您喜欢我们的项目，请在 Github 上给我们一个星星 ⭐，以获取最新更新。

📰 新闻动态

• [2024.10.22] 发布 VideoLLaMA2.1-7B-AV 模型的检查点。
• [2024.10.15] 发布 VideoLLaMA2.1-7B-16F-Base 和 VideoLLaMA2.1-7B-16F 模型的检查点。
• [2024.08.14] 发布 VideoLLaMA2-72B-Base 和 VideoLLaMA2-72B 模型的检查点。
• [2024.07.30] 发布 VideoLLaMA2-8x7B-Base 和 VideoLLaMA2-8x7B 模型的检查点。
• [2024.06.25] 🔥🔥 截至 6 月 25 日，我们的 VideoLLaMA2-7B-16F 模型在 MLVU 排行榜 上约 70 亿参数规模的视频大语言模型中排名 第一。
• [2024.06.18] 🔥🔥 截至 6 月 18 日，我们的 VideoLLaMA2-7B-16F 模型在 VideoMME 排行榜 上约 70 亿参数规模的视频大语言模型中排名 第一。
• [2024.06.17] 👋👋 更新技术报告，包含最新结果和缺失的参考文献。如果您有与 VideoLLaMA 2 密切相关但未在论文中提及的工作，请随时告知我们。
• [2024.06.14] 🔥🔥 在线演示 已上线。
• [2024.06.03] 发布 VideoLLaMA 2 的训练、评估和服务代码。

🌎 模型库

仅视觉检查点

视听检查点

🚀 主要结果

多项选择视频问答与视频字幕生成

开放式视频问答

多项选择与开放式音频问答

开放式视听问答

💻 使用示例

基础用法

import sys
sys.path.append('./')
from videollama2 import model_init, mm_infer
from videollama2.utils import disable_torch_init
import argparse

def inference(args):

    model_path = args.model_path
    model, processor, tokenizer = model_init(model_path)

    if args.modal_type == "a":
        model.model.vision_tower = None
    elif args.modal_type == "v":
        model.model.audio_tower = None
    elif args.modal_type == "av":
        pass
    else:
        raise NotImplementedError
    # Audio-visual Inference
    audio_video_path = "assets/00003491.mp4"
    preprocess = processor['audio' if args.modal_type == "a" else "video"]
    if args.modal_type == "a":
        audio_video_tensor = preprocess(audio_video_path)
    else:
        audio_video_tensor = preprocess(audio_video_path, va=True if args.modal_type == "av" else False)
    question = f"Please describe the video with audio information."

    # Audio Inference
    audio_video_path = "assets/bird-twitter-car.wav"
    preprocess = processor['audio' if args.modal_type == "a" else "video"]
    if args.modal_type == "a":
        audio_video_tensor = preprocess(audio_video_path)
    else:
        audio_video_tensor = preprocess(audio_video_path, va=True if args.modal_type == "av" else False)
    question = f"Please describe the audio."

    # Video Inference
    audio_video_path = "assets/output_v_1jgsRbGzCls.mp4"
    preprocess = processor['audio' if args.modal_type == "a" else "video"]
    if args.modal_type == "a":
        audio_video_tensor = preprocess(audio_video_path)
    else:
        audio_video_tensor = preprocess(audio_video_path, va=True if args.modal_type == "av" else False)
    question = f"What activity are the people practicing in the video?"

    output = mm_infer(
        audio_video_tensor,
        question,
        model=model,
        tokenizer=tokenizer,
        modal='audio' if args.modal_type == "a" else "video",
        do_sample=False,
    )

    print(output)


if __name__ == "__main__":
    parser = argparse.ArgumentParser()

    parser.add_argument('--model-path', help='', required=False, default='DAMO-NLP-SG/VideoLLaMA2.1-7B-AV')
    parser.add_argument('--modal-type', choices=["a", "v", "av"], help='', required=True)
    args = parser.parse_args()

    inference(args)

🔖 引用

如果您发现 VideoLLaMA 对您的研究和应用有帮助，请使用以下 BibTeX 进行引用：

@article{damonlpsg2024videollama2,
  title={VideoLLaMA 2: Advancing Spatial-Temporal Modeling and Audio Understanding in Video-LLMs},
  author={Cheng, Zesen and Leng, Sicong and Zhang, Hang and Xin, Yifei and Li, Xin and Chen, Guanzheng and Zhu, Yongxin and Zhang, Wenqi and Luo, Ziyang and Zhao, Deli and Bing, Lidong},
  journal={arXiv preprint arXiv:2406.07476},
  year={2024},
  url = {https://arxiv.org/abs/2406.07476}
}

@article{damonlpsg2023videollama,
  title = {Video-LLaMA: An Instruction-tuned Audio-Visual Language Model for Video Understanding},
  author = {Zhang, Hang and Li, Xin and Bing, Lidong},
  journal = {arXiv preprint arXiv:2306.02858},
  year = {2023},
  url = {https://arxiv.org/abs/2306.02858}
}