Llava NeXT Video 7B DPO

🚀 LLaVA-Next-Video模型卡片

LLaVA-Next-Video是一個開源的聊天機器人模型。它通過在多模態指令跟隨數據上微調大語言模型（LLM）進行訓練，可用於多模態模型和聊天機器人的研究。

🚀 快速開始

本模型的相關信息可參考：https://llava-vl.github.io/blog/2024-04-30-llava-next-video/ ，更多資源可訪問：https://github.com/LLaVA-VL/LLaVA-NeXT 。若你有關於該模型的問題或建議，可在https://github.com/LLaVA-VL/LLaVA-NeXT/issues 提交。

✨ 主要特性

LLaVA-Next-Video是基於多模態指令跟隨數據微調大語言模型得到的開源聊天機器人，可用於多模態模型和聊天機器人的研究。其基礎大語言模型為lmsys/vicuna-7b-v1.5 ，LLaVA-Next-Video-7B-DPO於2024年4月完成訓練。

📚 詳細文檔

模型信息

預期用途

• 主要預期用途：LLaVA的主要用途是用於大型多模態模型和聊天機器人的研究。
• 主要預期用戶：該模型的主要預期用戶是計算機視覺、自然語言處理、機器學習和人工智能領域的研究人員和愛好者。

訓練數據集

圖像

• 從LAION/CC/SBU中篩選出的558K圖像 - 文本對，由BLIP添加標題。
• 158K由GPT生成的多模態指令跟隨數據。
• 500K面向學術任務的視覺問答（VQA）混合數據。
• 50K GPT - 4V混合數據。
• 40K ShareGPT數據。

視頻

• 100K VideoChatGPT-Instruct數據。
• 17k視頻偏好數據：https://huggingface.co/datasets/ShareGPTVideo/train_video_and_instruction

評估數據集

包含4個基準測試的集合，其中包括3個學術視覺問答（VQA）基準測試和1個字幕生成基準測試。

📄 許可證

Llama 2遵循LLAMA 2社區許可證，版權所有 (c) Meta Platforms, Inc. 保留所有權利。