Cogvlm2 Video Llama3 Chat

🚀 CogVLM2-Video-Llama3-Chat

CogVLM2-Video-Llama3-Chat在多個視頻問答任務中表現卓越，能夠在一分鐘內實現視頻理解。本項目提供了示例視頻，展示其視頻理解和視頻時間定位能力。

🚀 快速開始

本倉庫提供的是chat版本模型，支持單輪對話。你可以在我們的 GitHub 上快速安裝Python包依賴並運行模型推理。

✨ 主要特性

• CogVLM2-Video在多個視頻問答任務中達到了先進水平。
• 能夠在一分鐘內實現視頻理解。
• 提供示例視頻，展示視頻理解和視頻時間定位能力。

📊 基準測試

性能圖表

下圖展示了CogVLM2-Video在 MVBench、VideoChatGPT-Bench 和零樣本視頻問答數據集（MSVD-QA、MSRVTT-QA、ActivityNet-QA）上的性能。其中，VCG-* 指的是VideoChatGPTBench，ZS-* 指的是零樣本視頻問答數據集，MV-* 指的是MVBench中的主要類別。

VideoChatGPT-Bench和零樣本視頻問答數據集性能

MVBench數據集性能

💻 使用示例

基礎用法

# 對於MVBench
prompt = f"Carefully watch the video and pay attention to the cause and sequence of events, the detail and movement of objects, and the action and pose of persons. Based on your observations, select the best option that accurately addresses the question.\n " + f"{prompt.replace('Short Answer.', '')}\n" + "Short Answer:"
# 對於VideoChatGPT-Bench
prompt = f"Carefully watch the video and pay attention to the cause and sequence of events, the detail and movement of objects, and the action and pose of persons. Based on your observations, comprehensively answer the following question. Your answer should be long and cover all the related aspects\n " + f"{prompt.replace('Short Answer.', '')}\n" + "Answer:"
# 對於零樣本視頻問答
prompt = f"The input consists of a sequence of key frames from a video. Answer the question comprehensively including all the possible verbs and nouns that can discribe the events, followed by significant events, characters, or objects that appear throughout the frames.\n " + f"{prompt.replace('Short Answer.', '')}\n" + "Answer:"

評估代碼請參考PLLaVA中的 評估腳本。

📚 詳細文檔

評估細節

我們遵循以往的工作來評估模型的性能。在不同的基準測試中，我們為每個基準測試設計了特定任務的提示：

• MVBench：提示用戶仔細觀看視頻，注意事件的原因和順序、物體的細節和運動以及人物的動作和姿勢，然後根據觀察選擇最佳答案。
• VideoChatGPT-Bench：提示用戶仔細觀看視頻，全面回答問題，答案應涵蓋所有相關方面。
• 零樣本視頻問答：提示用戶根據輸入的視頻關鍵幀序列，全面回答問題，包括所有可能描述事件的動詞和名詞，以及整個幀中出現的重要事件、人物或物體。

訓練細節

訓練公式和超參數請參考我們的技術報告。

📄 許可證

本模型根據CogVLM2 許可證 發佈。對於基於Meta Llama 3構建的模型，請同時遵守 LLAMA3許可證。