Mobilevlm 1.7B

🚀 MobileVLM

MobileVLM是一款专为在移动设备上运行而设计的多模态视觉语言模型（MMVLM）。它融合了大量面向移动设备的架构设计和技术，包含从头开始训练的14亿和27亿参数的语言模型、以CLIP方式预训练的多模态视觉模型，以及通过高效投影器实现的跨模态交互。该模型在多个典型的VLM基准测试中进行了评估，与一些更大的模型相比，展现出了相当的性能。更重要的是，在高通骁龙888 CPU和英伟达Jetson Orin GPU上进行推理速度测试时，分别达到了每秒21.5个和65.3个标记的先进性能。

🚀 快速开始

推理示例可在 Github 上找到。

✨ 主要特性

• MobileVLM是一款多模态视觉语言模型，专为移动设备运行而设计。
• 融合了多种面向移动设备的架构设计和技术。
• 包含14亿和27亿参数的语言模型，均从头开始训练。
• 多模态视觉模型以CLIP方式进行预训练。
• 通过高效投影器实现跨模态交互。
• 在多个典型VLM基准测试中表现出色，与更大的模型性能相当。
• 在高通骁龙888 CPU和英伟达Jetson Orin GPU上具有出色的推理速度。
• MobileVLM - 17亿基于 MobileLLaMA - 14亿 - 聊天 构建，便于即插即用式部署。

📚 详细文档

• 模型来源
  • 代码仓库：https://github.com/Meituan-AutoML/MobileVLM
  • 论文：https://arxiv.org/abs/2312.16886
• 训练细节：请参考论文 MobileVLM: A Fast, Strong and Open Vision Language Assistant for Mobile Devices

📄 许可证

本项目采用Apache - 2.0许可证。