Llama Vid 7b Full 224 Video Fps 1

🚀 LLaMA-VIDモデルカード

LLaMA-VIDは、既存のフレームワークに長時間のビデオをサポートさせ、追加のコンテキストトークンでその上限を引き上げるモデルです。

📚 詳細ドキュメント

モデルの詳細

LLaMA-VIDは、既存のフレームワークに長時間のビデオをサポートさせ、追加のコンテキストトークンでその上限を引き上げます。

モデルの種類 LLaMA-VIDは、GPTで生成されたマルチモーダル命令追従データ上でLLaMA/Vicunaをファインチューニングすることで学習されたオープンソースのチャットボットです。LLaMA-VIDは、既存のフレームワークに長時間のビデオをサポートさせ、追加のコンテキストトークンでその上限を引き上げます。このリポジトリはLLaVAに基づいて構築されています。

モデルの作成日 llama-vid-7b-full-224-video-fps-1は2023年11月に学習されました。

ライセンス

Llama 2はLLAMA 2 Community Licenseの下でライセンスされています。 Copyright (c) Meta Platforms, Inc. All Rights Reserved.

モデルに関する質問やコメントの送信先 https://github.com/dvlab-research/LLaMA-VID/issues

想定される用途

主な想定用途 LLaMA-VIDの主な用途は、大規模マルチモーダルモデルとチャットボットの研究です。

主な想定ユーザー このモデルの主な想定ユーザーは、コンピュータビジョン、自然言語処理、機械学習、人工知能の研究者や愛好家です。

学習データ

このモデルは、LLaVA - 1.5データセットの画像データと、WebVidおよびActivityNetデータセットのビデオデータに基づいて学習されています。以下に含まれます。

• BLIPによってキャプション付けされたLAION/CC/SBUからの558Kのフィルタリングされた画像 - テキストペア。
• 158KのGPT生成マルチモーダル命令追従データ。
• 450Kの学術タスク指向のVQAデータミックス。
• 40KのShareGPTデータ。
• WebVid 2.5Mデータセットからサンプリングされた232Kのビデオ - キャプションペア。
• Video - ChatGPTからのQAペア付きのActivityNetからの98Kのビデオ。