Cogvlm2 Video Llama3 Chat

🚀 CogVLM2-Video-Llama3-Chat

CogVLM2-Video-Llama3-Chat在多个视频问答任务中表现卓越，能够在一分钟内实现视频理解。本项目提供了示例视频，展示其视频理解和视频时间定位能力。

🚀 快速开始

本仓库提供的是chat版本模型，支持单轮对话。你可以在我们的 GitHub 上快速安装Python包依赖并运行模型推理。

✨ 主要特性

• CogVLM2-Video在多个视频问答任务中达到了先进水平。
• 能够在一分钟内实现视频理解。
• 提供示例视频，展示视频理解和视频时间定位能力。

📊 基准测试

性能图表

下图展示了CogVLM2-Video在 MVBench、VideoChatGPT-Bench 和零样本视频问答数据集（MSVD-QA、MSRVTT-QA、ActivityNet-QA）上的性能。其中，VCG-* 指的是VideoChatGPTBench，ZS-* 指的是零样本视频问答数据集，MV-* 指的是MVBench中的主要类别。

VideoChatGPT-Bench和零样本视频问答数据集性能

MVBench数据集性能

💻 使用示例

基础用法

# 对于MVBench
prompt = f"Carefully watch the video and pay attention to the cause and sequence of events, the detail and movement of objects, and the action and pose of persons. Based on your observations, select the best option that accurately addresses the question.\n " + f"{prompt.replace('Short Answer.', '')}\n" + "Short Answer:"
# 对于VideoChatGPT-Bench
prompt = f"Carefully watch the video and pay attention to the cause and sequence of events, the detail and movement of objects, and the action and pose of persons. Based on your observations, comprehensively answer the following question. Your answer should be long and cover all the related aspects\n " + f"{prompt.replace('Short Answer.', '')}\n" + "Answer:"
# 对于零样本视频问答
prompt = f"The input consists of a sequence of key frames from a video. Answer the question comprehensively including all the possible verbs and nouns that can discribe the events, followed by significant events, characters, or objects that appear throughout the frames.\n " + f"{prompt.replace('Short Answer.', '')}\n" + "Answer:"

评估代码请参考PLLaVA中的 评估脚本。

📚 详细文档

评估细节

我们遵循以往的工作来评估模型的性能。在不同的基准测试中，我们为每个基准测试设计了特定任务的提示：

• MVBench：提示用户仔细观看视频，注意事件的原因和顺序、物体的细节和运动以及人物的动作和姿势，然后根据观察选择最佳答案。
• VideoChatGPT-Bench：提示用户仔细观看视频，全面回答问题，答案应涵盖所有相关方面。
• 零样本视频问答：提示用户根据输入的视频关键帧序列，全面回答问题，包括所有可能描述事件的动词和名词，以及整个帧中出现的重要事件、人物或物体。

训练细节

训练公式和超参数请参考我们的技术报告。

📄 许可证

本模型根据CogVLM2 许可证 发布。对于基于Meta Llama 3构建的模型，请同时遵守 LLAMA3许可证。