Nanovlm 450M

🚀 nanoVLM

nanoVLM是一款輕量級的視覺語言模型（VLM），專為高效訓練和實驗而設計。它採用純PyTorch構建，整個模型架構和訓練邏輯僅約750行代碼。該模型將基於ViT的圖像編碼器（SigLIP - B/16 - 224 - 85M）與輕量級因果語言模型（SmolLM2 - 135M）相結合，形成了一個僅2.22億參數的緊湊模型。

🚀 快速開始

安裝與使用

1. 克隆nanoVLM倉庫：https://github.com/huggingface/nanoVLM 。
2. 按照安裝說明操作，並運行以下代碼：

from models.vision_language_model import VisionLanguageModel

model = VisionLanguageModel.from_pretrained("lusxvr/nanoVLM-450M")

✨ 主要特性

• 輕量級設計：整個模型架構和訓練邏輯僅約750行代碼，便於理解和修改。
• 參數緊湊：結合圖像編碼器和語言模型後，僅2.22億參數，適合快速實驗。
• 高效訓練：專為高效訓練而設計，能在較短時間內完成實驗。

📦 安裝指南

克隆nanoVLM倉庫：

git clone https://github.com/huggingface/nanoVLM

後續安裝步驟請參考倉庫內的說明文檔。

💻 使用示例

基礎用法

from models.vision_language_model import VisionLanguageModel

model = VisionLanguageModel.from_pretrained("lusxvr/nanoVLM-450M")

📚 詳細文檔

如需更多信息，請查看基礎模型：https://huggingface.co/lusxvr/nanoVLM - 222M 。

模型卡元數據參考規範：https://github.com/huggingface/hub - docs/blob/main/modelcard.md?plain = 1 文檔/指南：https://huggingface.co/docs/hub/model - cards

📄 許可證

本項目採用MIT許可證。