Nanovlm

🚀 nanoVLM

nanoVLM は、効率的なトレーニングと実験を目的として設計された軽量なビジュアル言語モデル（VLM）です。純粋な PyTorch をベースに構築されており、モデルのアーキテクチャとトレーニングロジック全体が約 750 行のコードで構成されています。このモデルは、ViT ベースの画像エンコーダ（SigLIP - B/16 - 224 - 85M）と軽量な因果言語モデル（SmolLM2 - 135M）を組み合わせ、わずか 2.22 億のパラメータを持つコンパクトなモデルを形成しています。

🚀 クイックスタート

リポジトリのクローン

nanoVLM のリポジトリをクローンします：https://github.com/huggingface/nanoVLM。

インストールと使用

インストール手順に従って操作し、以下のコードを実行します：

from models.vision_language_model import VisionLanguageModel

model = VisionLanguageModel.from_pretrained("andito/nanoVLM")

✨ 主な機能

• 軽量設計：モデルのアーキテクチャとトレーニングロジック全体が約 750 行のコードで構成されており、理解と実験が容易です。
• パラメータのコンパクト性：画像エンコーダと言語モデルを組み合わせても、わずか 2.22 億のパラメータです。

📦 インストール

具体的なインストール手順はドキュメントに記載されていません。クローンしたリポジトリの説明に従ってインストールしてください。

💻 使用例

基本的な使用法

from models.vision_language_model import VisionLanguageModel

model = VisionLanguageModel.from_pretrained("andito/nanoVLM")

📚 ドキュメント

詳細な情報は、ベースモデルを参照してください：https://huggingface.co/lusxvr/nanoVLM - 222M。

📄 ライセンス

このプロジェクトは MIT ライセンスの下で提供されています。

モデル情報