Nanovlm 222M

🚀 納米視覺語言模型（nanoVLM）

nanoVLM 是一款輕量級的視覺語言模型（VLM），專為高效訓練和實驗而設計。它採用純 PyTorch 構建，整個模型架構和訓練邏輯僅約 750 行代碼。該模型將基於 ViT 的圖像編碼器（SigLIP - B/16 - 224 - 85M）與輕量級因果語言模型（SmolLM2 - 135M）相結合，形成了一個僅 2.22 億參數的緊湊模型。在單張 H100 GPU 上使用來自 the cauldron 數據集的 170 萬個樣本訓練約 6 小時後，該模型在 MMStar 上達到了 35.3% 的準確率，為低資源 VLM 研究提供了一個強大的基線。

此模型非常適合對以最小計算開銷探索 VLM 訓練感興趣的研究人員和開發者，也是嘗試多模態架構的理想起點。

✨ 主要特性

• 輕量級設計：整個模型架構和訓練邏輯僅約 750 行代碼，易於理解和修改。
• 高效訓練：在單張 H100 GPU 上僅需約 6 小時即可完成訓練。
• 低資源友好：僅 2.22 億參數，適合低資源環境下的研究和實驗。
• 良好性能：在 MMStar 上達到 35.3% 的準確率，可作為低資源 VLM 研究的強大基線。

📦 安裝指南

暫未提供具體安裝步驟，可通過 nanoVLM 倉庫進行使用：https://github.com/huggingface/nanoVLM

💻 使用示例

基礎用法

from models.vision_language_model import VisionLanguageModel
model = VisionLanguageModel.from_pretrained("lusxvr/nanoVLM-222M")

更多詳情

請參考：https://github.com/huggingface/nanoVLM?tab=readme-ov-file#hub-integration

📚 詳細文檔

模型架構

• 視覺變換器（ViT）：SigLIP - B/16
• 因果語言模型：SmolLM2
• 模態投影層

訓練信息

• 訓練數據：使用 the_cauldron 數據集的約 170 萬個樣本。
• 訓練時長：在單張 NVIDIA H100 GPU 上訓練 6 小時。
• 模型大小：2.22 億參數。

評估指標

• MMStar 準確率：35.3%

📄 許可證

本模型採用 Apache - 2.0 許可證。