Llama Vid 7b Full 224 Video Fps 1

🚀 LLaMA-VID模型卡片

LLaMA-VID是一個開源的聊天機器人模型，它通過在GPT生成的多模態指令跟隨數據上微調LLaMA/Vicuna而來，能夠讓現有框架支持長達數小時的視頻，並通過額外的上下文令牌突破其上限，主要用於大型多模態模型和聊天機器人的研究。

📚 詳細文檔

模型詳情

LLaMA-VID能夠讓現有框架支持長達數小時的視頻，並通過額外的上下文令牌突破其上限。

許可證

Llama 2遵循LLAMA 2社區許可證，版權所有 (c) Meta Platforms, Inc. 保留所有權利。

關於模型的問題或建議反饋地址： https://github.com/dvlab-research/LLaMA-VID/issues

預期用途

主要預期用途： LLaMA-VID的主要用途是用於大型多模態模型和聊天機器人的研究。

主要預期用戶： 該模型的主要預期用戶是計算機視覺、自然語言處理、機器學習和人工智能領域的研究人員和愛好者。

訓練數據

該模型基於LLaVA - 1.5數據集的圖像數據以及WebVid和ActivityNet數據集的視頻數據進行訓練，包括：

• 來自LAION/CC/SBU的558K過濾後的圖像 - 文本對，由BLIP添加標題。
• 158K個GPT生成的多模態指令跟隨數據。
• 450K個面向學術任務的VQA混合數據。
• 40K個ShareGPT數據。
• 從WebVid 2.5M數據集中採樣的232K個視頻 - 標題對。
• 來自ActivityNet的98K個視頻，以及來自Video - ChatGPT的問答對。