Llava Lightning 7B Delta V1 1

🚀 LLaVA模型卡片

LLaVA是一個開源聊天機器人，通過在GPT生成的多模態指令跟隨數據上微調LLaMA/Vicuna而訓練得到，可用於多模態大模型和聊天機器人的研究。

🚀 快速開始

⚠️ 重要提示

此“增量模型”不能直接使用。用戶必須將其應用於原始LLaMA權重之上，才能獲得實際的LLaVA權重。具體說明請見https://github.com/haotian-liu/LLaVA#llava-weights 。

✨ 主要特性

LLaVA是一個基於Transformer架構的自迴歸語言模型，通過在特定數據上微調訓練得到，可用於多模態相關研究。

📚 詳細文檔

模型詳情

預期用途

主要預期用途

LLaVA的主要用途是用於大型多模態模型和聊天機器人的研究。

主要預期用戶

該模型的主要預期用戶是計算機視覺、自然語言處理、機器學習和人工智能領域的研究人員和愛好者。

訓練數據集

• 來自LAION/CC/SBU的558K經過過濾的圖像-文本對，由BLIP添加標題。
• 80K GPT生成的多模態指令跟隨數據。

評估數據集

• 對模型質量的初步評估是通過從COCO 2014驗證集中隨機抽取30張獨特圖像，創建一組90個視覺推理問題進行的，每個圖像關聯三種類型的問題：對話式、詳細描述和複雜推理。使用GPT - 4來評判模型輸出。
• 還在ScienceQA數據集上對模型進行了評估。與GPT - 4的協同在該數據集上創造了新的最優成績。更多詳情請見https://llava-vl.github.io/ 。

📄 許可證

本模型採用Apache許可證2.0。