Llava V1.5 7b

🚀 LLaVA模型卡片

LLaVA是一個開源的聊天機器人模型，基於Transformer架構的自迴歸語言模型。它通過在GPT生成的多模態指令跟隨數據上微調LLaMA/Vicuna進行訓練，主要用於大型多模態模型和聊天機器人的研究。

🚀 快速開始

本部分暫未提供相關內容，可參考後續詳細介紹。

✨ 主要特性

• 多模態能力：LLaVA基於GPT生成的多模態指令跟隨數據進行訓練，具備處理圖像和文本的多模態能力。
• 開源模型：作為開源項目，方便研究人員和愛好者進行研究和使用。

📚 詳細文檔

模型詳情

許可證

Llama 2遵循LLAMA 2社區許可證，版權歸Meta Platforms, Inc.所有。

模型問題或建議反饋地址

https://github.com/haotian-liu/LLaVA/issues

預期用途

• 主要預期用途：LLaVA的主要用途是用於大型多模態模型和聊天機器人的研究。
• 主要預期用戶：該模型的主要預期用戶是計算機視覺、自然語言處理、機器學習和人工智能領域的研究人員和愛好者。

訓練數據集

• 從LAION/CC/SBU中篩選出的558K圖像 - 文本對，由BLIP添加字幕。
• 158K由GPT生成的多模態指令跟隨數據。
• 450K面向學術任務的視覺問答（VQA）混合數據。
• 40K ShareGPT數據。

評估數據集

包含12個基準測試的集合，其中包括5個學術VQA基準測試和7個最近專門為指令跟隨大型多模態模型（LMMs）提出的基準測試。