Nanovlm

🚀 nanoVLM

nanoVLM 是一款轻量级的视觉语言模型（VLM），专为高效训练和实验而设计。它基于纯 PyTorch 构建，整个模型架构和训练逻辑仅约 750 行代码。该模型将基于 ViT 的图像编码器（SigLIP - B/16 - 224 - 85M）与轻量级因果语言模型（SmolLM2 - 135M）相结合，形成了一个仅 2.22 亿参数的紧凑模型。

🚀 快速开始

克隆仓库

克隆 nanoVLM 仓库：https://github.com/huggingface/nanoVLM。

安装与使用

按照安装说明进行操作，并运行以下代码：

from models.vision_language_model import VisionLanguageModel

model = VisionLanguageModel.from_pretrained("andito/nanoVLM")

✨ 主要特性

• 轻量级设计：整个模型架构和训练逻辑仅约 750 行代码，便于理解和实验。
• 参数紧凑：结合图像编码器和语言模型后，仅有 2.22 亿参数。

📦 安装指南

暂未在文档中提供具体安装步骤，请参考克隆仓库中的说明进行安装。

💻 使用示例

基础用法

from models.vision_language_model import VisionLanguageModel

model = VisionLanguageModel.from_pretrained("andito/nanoVLM")

📚 详细文档

更多信息，请查看基础模型：https://huggingface.co/lusxvr/nanoVLM - 222M。

📄 许可证

本项目采用 MIT 许可证。

模型信息