Mobilevlm 3B

🚀 MobileVLM

MobileVLM是一款专为在移动设备上运行而设计的多模态视觉语言模型（MMVLM）。它融合了众多面向移动设备的架构设计和技术，包含从头开始训练的14亿和27亿参数的语言模型、以CLIP方式预训练的多模态视觉模型，以及通过高效投影器实现的跨模态交互。该模型在多个典型的VLM基准测试中进行了评估，表现与一些更大的模型相当。更重要的是，在高通骁龙888 CPU和英伟达Jeston Orin GPU上进行推理速度测试时，分别达到了每秒21.5个和65.3个token的先进性能。

MobileVLM - 3B基于我们的MobileLLaMA - 2.7B - Chat构建，方便进行即插即用的部署。

🚀 快速开始

推理示例可在Github上找到。

✨ 主要特性

• MobileVLM是专为移动设备打造的多模态视觉语言模型，融合了多种面向移动设备的架构设计与技术。
• 包含从头训练的14亿和27亿参数语言模型，以及以CLIP方式预训练的多模态视觉模型。
• 通过高效投影器实现跨模态交互。
• 在多个典型VLM基准测试中表现出色，与一些更大的模型性能相当。
• 在高通骁龙888 CPU和英伟达Jeston Orin GPU上分别取得每秒21.5个和65.3个token的推理速度。
• MobileVLM - 3B基于MobileLLaMA - 2.7B - Chat构建，便于部署。

📚 详细文档

模型来源

• 代码仓库：https://github.com/Meituan-AutoML/MobileVLM
• 论文：https://arxiv.org/abs/2312.16886

训练细节

请参考我们的论文：MobileVLM: A Fast, Strong and Open Vision Language Assistant for Mobile Devices

📄 许可证

本项目采用Apache - 2.0许可证。