Cogvlm2 Video Llama3 Chat

🚀 CogVLM2-Video-Llama3-Chat

CogVLM2-Videoは、複数のビデオ質問応答タスクで最先端の性能を達成します。1分以内でビデオ理解が可能です。

🚀 クイックスタート

CogVLM2-Videoは、複数のビデオ質問応答タスクで最先端の性能を達成します。1分以内でビデオ理解を行うことができます。ここでは、CogVLM2-Videoのビデオ理解とビデオ時間的接地能力を示す2つのサンプルビデオを提供しています。

✨ 主な機能

ベンチマーク

次の図は、CogVLM2-VideoがMVBench、VideoChatGPT-Bench、ゼロショットビデオQAデータセット（MSVD-QA、MSRVTT-QA、ActivityNet-QA）での性能を示しています。ここで、VCG-*はVideoChatGPTBenchを、ZS-*はゼロショットビデオQAデータセットを、MV-*はMVBenchの主要カテゴリを指します。

VideoChatGPT-BenchとゼロショットビデオQAデータセットでの性能

MVBenchデータセットでの性能

評価詳細

以前の研究に従って、モデルの性能を評価しています。異なるベンチマークでは、各ベンチマークに対してタスク固有のプロンプトを作成しています。

# For MVBench
prompt = f"Carefully watch the video and pay attention to the cause and sequence of events, the detail and movement of objects, and the action and pose of persons. Based on your observations, select the best option that accurately addresses the question.\n " + f"{prompt.replace('Short Answer.', '')}\n" + "Short Answer:"
# For VideoChatGPT-Bench
prompt = f"Carefully watch the video and pay attention to the cause and sequence of events, the detail and movement of objects, and the action and pose of persons. Based on your observations, comprehensively answer the following question. Your answer should be long and cover all the related aspects\n " + f"{prompt.replace('Short Answer.', '')}\n" + "Answer:"
# For Zero-shot VideoQA
prompt = f"The input consists of a sequence of key frames from a video. Answer the question comprehensively including all the possible verbs and nouns that can discribe the events, followed by significant events, characters, or objects that appear throughout the frames.\n " + f"{prompt.replace('Short Answer.', '')}\n" + "Answer:"

評価コードについては、PLLaVAの評価スクリプトを参照してください。

このモデルの使用方法

このリポジトリはchatバージョンのモデルで、単ラウンドチャットをサポートしています。

githubでPythonパッケージの依存関係をすばやくインストールし、モデル推論を実行することができます。

📄 ライセンス

このモデルはCogVLM2 LICENSEの下で公開されています。Meta Llama 3を使用して構築されたモデルの場合は、LLAMA3_LICENSEにも準拠してください。

トレーニング詳細

トレーニングの公式とハイパーパラメータについては、技術レポートを参照してください。