Mobilellama 1.4B Base

🚀 MobileLLaMA-1.4B-Base模型

MobileLLaMA-1.4B-Base是一款參數規模達14億的Transformer模型。我們對LLaMA進行了降維處理，以實現便捷的即用型部署。為保證研究的可重複性，所有模型僅在來自RedPajama v1數據集的1.3T標記上進行訓練，這有助於通過可控實驗推動進一步的研究。

我們在兩個標準自然語言基準測試中對模型進行了全面評估，分別用於語言理解和常識推理。實驗結果表明，我們的MobileLLaMA 1.4B模型與最新的開源模型性能相當。

✨ 主要特性

• 參數規模：擁有14億參數的Transformer模型。
• 可重複性：僅使用RedPajama v1數據集的1.3T標記進行訓練，便於後續研究開展可控實驗。
• 性能表現：在語言理解和常識推理的標準基準測試中，與最新開源模型性能相當。

📦 安裝指南

模型權重可通過Hugging Face Transformers加載，具體示例可參考Github。

📚 詳細文檔

模型來源

• 代碼倉庫：https://github.com/Meituan-AutoML/MobileVLM
• 相關論文：https://arxiv.org/abs/2312.16886

訓練細節

訓練細節請參考論文第4.1節：MobileVLM: A Fast, Strong and Open Vision Language Assistant for Mobile Devices。

📄 許可證

本項目採用Apache-2.0許可證。