Llava NeXT Video 7B

🚀 LLaVA-Next-Video模型卡片

LLaVA-Next-Video是一個開源聊天機器人模型，通過在多模態指令跟隨數據上微調大語言模型（LLM）訓練得到。它主要用於多模態大模型和聊天機器人的研究，為相關領域的研究者和愛好者提供了有力工具。

🚀 快速開始

本模型相關信息可參考：https://llava-vl.github.io/blog/2024-04-30-llava-next-video/ ，若有關於模型的問題或建議，可前往：https://github.com/LLaVA-VL/LLaVA-NeXT/issues 提交。

✨ 主要特性

• 多模態能力：支持視頻 - 文本的轉換，可處理圖像和視頻等多模態數據。
• 開源可用：基於開源的大語言模型進行微調，方便研究者和愛好者使用。

📚 詳細文檔

模型詳情

預期用途

主要預期用途

LLaVA的主要用途是進行多模態大模型和聊天機器人的研究。

主要預期用戶

該模型的主要預期用戶是計算機視覺、自然語言處理、機器學習和人工智能領域的研究者和愛好者。

訓練數據集

圖像數據

• 從LAION/CC/SBU中篩選出的558K圖像 - 文本對，由BLIP添加標題。
• 158K由GPT生成的多模態指令跟隨數據。
• 500K面向學術任務的視覺問答（VQA）混合數據。
• 50K GPT - 4V混合數據。
• 40K ShareGPT數據。

視頻數據

• 100K VideoChatGPT - Instruct數據。

評估數據集

包含4個基準測試的集合，其中包括3個學術視覺問答基準測試和1個字幕生成基準測試。

📄 許可證

Llama 2遵循LLAMA 2社區許可證，版權歸Meta Platforms, Inc.所有。