Llama3 Mova 8b

🚀 MoVA-8B模型卡片

MoVA-8B是一个开源的多模态大语言模型，它采用从粗到细的机制，自适应地路由和融合特定任务的视觉专家模块，可用于多模态模型和聊天机器人的研究。

✨ 主要特性

• 多模态融合：自适应路由和融合特定任务的视觉专家模块，采用从粗到细的机制。
• 丰富的视觉编码器：集成了OpenAI-CLIP-336px、DINOv2-giant等多种视觉编码器。
• 强大的基础大语言模型：基于meta-llama/Meta-Llama-3-8B-Instruct。

📦 安装指南

你可以按照我们在[仓库]中提供的方法直接使用该模型。

📚 详细文档

模型详情

• 模型类型：MoVA-8B是一个开源的多模态大语言模型（MLLM），采用从粗到细的机制，自适应地路由和融合特定任务的视觉专家模块。
  • 视觉编码器：OpenAI-CLIP-336px、DINOv2-giant、Co-DETR-large、SAM-huge、Vary-base、Pix2Struct-large、Deplot-base和BiomedCLIP-base。
  • 基础大语言模型：meta-llama/Meta-Llama-3-8B-Instruct
• 更多信息的论文或资源：[论文] [代码]

预期用途

• 主要预期用途：MoVA-8B主要用于多模态模型和聊天机器人的研究。
• 主要预期用户：该模型的主要预期用户是计算机视觉、自然语言处理、机器学习和人工智能领域的研究人员和爱好者。

训练数据集

• 预训练：使用1500万个多样化的视觉指令调优样本进行预训练，包括DataComp-1B、ShareGPT4V-PT、Objects365和MMC-Instruction。更多详细信息请参考我们的论文。
• 微调：使用200万个高质量的指令数据进行微调。我们整合了多个跨领域的视觉问答数据集，如DocVQA、ChartQA、InfographicVQA、AI2D、ST-VQA、TextVQA、SynthDoG-en、Geometry3K、PGPS9K、Geo170K、VQA-RAD和SLAKE到LLaVA-mix-665k中。我们还包含了由GPT4-V生成的等效综合字幕。

评估数据集

我们在广泛的流行多模态大语言模型基准测试上评估了我们的模型。

多模态基准测试

通用和面向文本的视觉问答

视觉定位

📄 许可证

本项目使用了某些数据集和检查点，这些数据集和检查点受其各自的原始许可证约束。用户必须遵守这些原始许可证的所有条款和条件，包括但不限于数据集的OpenAI使用条款以及使用该数据集训练的检查点的基础语言模型的特定许可证（例如META LLAMA 3社区许可协议）。