Llama3 Mova 8b

🚀 MoVA-8B模型卡片

MoVA-8B是一個開源的多模態大語言模型，它採用從粗到細的機制，自適應地路由和融合特定任務的視覺專家模塊，可用於多模態模型和聊天機器人的研究。

✨ 主要特性

• 多模態融合：自適應路由和融合特定任務的視覺專家模塊，採用從粗到細的機制。
• 豐富的視覺編碼器：集成了OpenAI-CLIP-336px、DINOv2-giant等多種視覺編碼器。
• 強大的基礎大語言模型：基於meta-llama/Meta-Llama-3-8B-Instruct。

📦 安裝指南

你可以按照我們在[倉庫]中提供的方法直接使用該模型。

📚 詳細文檔

模型詳情

• 模型類型：MoVA-8B是一個開源的多模態大語言模型（MLLM），採用從粗到細的機制，自適應地路由和融合特定任務的視覺專家模塊。
  • 視覺編碼器：OpenAI-CLIP-336px、DINOv2-giant、Co-DETR-large、SAM-huge、Vary-base、Pix2Struct-large、Deplot-base和BiomedCLIP-base。
  • 基礎大語言模型：meta-llama/Meta-Llama-3-8B-Instruct
• 更多信息的論文或資源：[論文] [代碼]

預期用途

• 主要預期用途：MoVA-8B主要用於多模態模型和聊天機器人的研究。
• 主要預期用戶：該模型的主要預期用戶是計算機視覺、自然語言處理、機器學習和人工智能領域的研究人員和愛好者。

訓練數據集

• 預訓練：使用1500萬個多樣化的視覺指令調優樣本進行預訓練，包括DataComp-1B、ShareGPT4V-PT、Objects365和MMC-Instruction。更多詳細信息請參考我們的論文。
• 微調：使用200萬個高質量的指令數據進行微調。我們整合了多個跨領域的視覺問答數據集，如DocVQA、ChartQA、InfographicVQA、AI2D、ST-VQA、TextVQA、SynthDoG-en、Geometry3K、PGPS9K、Geo170K、VQA-RAD和SLAKE到LLaVA-mix-665k中。我們還包含了由GPT4-V生成的等效綜合字幕。

評估數據集

我們在廣泛的流行多模態大語言模型基準測試上評估了我們的模型。

多模態基準測試

通用和麵向文本的視覺問答

視覺定位

📄 許可證

本項目使用了某些數據集和檢查點，這些數據集和檢查點受其各自的原始許可證約束。用戶必須遵守這些原始許可證的所有條款和條件，包括但不限於數據集的OpenAI使用條款以及使用該數據集訓練的檢查點的基礎語言模型的特定許可證（例如META LLAMA 3社區許可協議）。