Nanovlm 450M

🚀 nanoVLM

nanoVLM是一款轻量级的视觉语言模型（VLM），专为高效训练和实验而设计。它采用纯PyTorch构建，整个模型架构和训练逻辑仅约750行代码。该模型将基于ViT的图像编码器（SigLIP - B/16 - 224 - 85M）与轻量级因果语言模型（SmolLM2 - 135M）相结合，形成了一个仅2.22亿参数的紧凑模型。

🚀 快速开始

安装与使用

1. 克隆nanoVLM仓库：https://github.com/huggingface/nanoVLM 。
2. 按照安装说明操作，并运行以下代码：

from models.vision_language_model import VisionLanguageModel

model = VisionLanguageModel.from_pretrained("lusxvr/nanoVLM-450M")

✨ 主要特性

• 轻量级设计：整个模型架构和训练逻辑仅约750行代码，便于理解和修改。
• 参数紧凑：结合图像编码器和语言模型后，仅2.22亿参数，适合快速实验。
• 高效训练：专为高效训练而设计，能在较短时间内完成实验。

📦 安装指南

克隆nanoVLM仓库：

git clone https://github.com/huggingface/nanoVLM

后续安装步骤请参考仓库内的说明文档。

💻 使用示例

基础用法

from models.vision_language_model import VisionLanguageModel

model = VisionLanguageModel.from_pretrained("lusxvr/nanoVLM-450M")

📚 详细文档

如需更多信息，请查看基础模型：https://huggingface.co/lusxvr/nanoVLM - 222M 。

模型卡元数据参考规范：https://github.com/huggingface/hub - docs/blob/main/modelcard.md?plain = 1 文档/指南：https://huggingface.co/docs/hub/model - cards

📄 许可证

本项目采用MIT许可证。