Mobilevlm 1.7B

🚀 MobileVLM

MobileVLM是一款專為在移動設備上運行而設計的多模態視覺語言模型（MMVLM）。它融合了大量面向移動設備的架構設計和技術，包含從頭開始訓練的14億和27億參數的語言模型、以CLIP方式預訓練的多模態視覺模型，以及通過高效投影器實現的跨模態交互。該模型在多個典型的VLM基準測試中進行了評估，與一些更大的模型相比，展現出了相當的性能。更重要的是，在高通驍龍888 CPU和英偉達Jetson Orin GPU上進行推理速度測試時，分別達到了每秒21.5個和65.3個標記的先進性能。

🚀 快速開始

推理示例可在 Github 上找到。

✨ 主要特性

• MobileVLM是一款多模態視覺語言模型，專為移動設備運行而設計。
• 融合了多種面向移動設備的架構設計和技術。
• 包含14億和27億參數的語言模型，均從頭開始訓練。
• 多模態視覺模型以CLIP方式進行預訓練。
• 通過高效投影器實現跨模態交互。
• 在多個典型VLM基準測試中表現出色，與更大的模型性能相當。
• 在高通驍龍888 CPU和英偉達Jetson Orin GPU上具有出色的推理速度。
• MobileVLM - 17億基於 MobileLLaMA - 14億 - 聊天 構建，便於即插即用式部署。

📚 詳細文檔

• 模型來源
  • 代碼倉庫：https://github.com/Meituan-AutoML/MobileVLM
  • 論文：https://arxiv.org/abs/2312.16886
• 訓練細節：請參考論文 MobileVLM: A Fast, Strong and Open Vision Language Assistant for Mobile Devices

📄 許可證

本項目採用Apache - 2.0許可證。