Mobilevlm 3B

🚀 MobileVLM

MobileVLM是一款專為在移動設備上運行而設計的多模態視覺語言模型（MMVLM）。它融合了眾多面向移動設備的架構設計和技術，包含從頭開始訓練的14億和27億參數的語言模型、以CLIP方式預訓練的多模態視覺模型，以及通過高效投影器實現的跨模態交互。該模型在多個典型的VLM基準測試中進行了評估，表現與一些更大的模型相當。更重要的是，在高通驍龍888 CPU和英偉達Jeston Orin GPU上進行推理速度測試時，分別達到了每秒21.5個和65.3個token的先進性能。

MobileVLM - 3B基於我們的MobileLLaMA - 2.7B - Chat構建，方便進行即插即用的部署。

🚀 快速開始

推理示例可在Github上找到。

✨ 主要特性

• MobileVLM是專為移動設備打造的多模態視覺語言模型，融合了多種面向移動設備的架構設計與技術。
• 包含從頭訓練的14億和27億參數語言模型，以及以CLIP方式預訓練的多模態視覺模型。
• 通過高效投影器實現跨模態交互。
• 在多個典型VLM基準測試中表現出色，與一些更大的模型性能相當。
• 在高通驍龍888 CPU和英偉達Jeston Orin GPU上分別取得每秒21.5個和65.3個token的推理速度。
• MobileVLM - 3B基於MobileLLaMA - 2.7B - Chat構建，便於部署。

📚 詳細文檔

模型來源

• 代碼倉庫：https://github.com/Meituan-AutoML/MobileVLM
• 論文：https://arxiv.org/abs/2312.16886

訓練細節

請參考我們的論文：MobileVLM: A Fast, Strong and Open Vision Language Assistant for Mobile Devices

📄 許可證

本項目採用Apache - 2.0許可證。