Nanovlm 222M

🚀 nanoVLM

nanoVLMは、効率的なトレーニングと実験を目的として設計された、最小限かつ軽量なビジョン・言語モデル（VLM）です。純粋なPyTorchを使用して構築されており、モデルのアーキテクチャとトレーニングロジック全体が約750行のコードに収まります。ViTベースの画像エンコーダ（SigLIP - B/16 - 224 - 85M）と軽量な因果言語モデル（SmolLM2 - 135M）を組み合わせることで、222Mパラメータのコンパクトなモデルを実現しています。このモデルは、the cauldronデータセットからの170万件のサンプルを使用して、単一のH100 GPUで約6時間トレーニングした後、MMStarで35.3%の精度を達成しており、低リソースのVLM研究における強力なベースラインとなっています。

このモデルは、最小限の計算オーバーヘッドでVLMのトレーニングを探索することに興味がある研究者や開発者に最適であり、マルチモーダルアーキテクチャの試行錯誤に最適な出発点となります。

🚀 クイックスタート

nanoVLMは、低リソース環境でのビジョン・言語モデルの研究や開発に最適です。以下の手順やコード例を参考に、すぐに使い始めることができます。

✨ 主な機能

• 最小限かつ軽量なビジョン・言語モデルで、効率的なトレーニングと実験が可能。
• 純粋なPyTorchで構築され、コード量が少なく、理解しやすい。
• 画像エンコーダと因果言語モデルを組み合わせたコンパクトなアーキテクチャ。
• 低リソース環境でも高い精度を達成し、VLM研究のベースラインとして有効。

📦 インストール

nanoVLMは、以下のリポジトリを通じて利用可能です。

• リポジトリ: https://github.com/huggingface/nanoVLM
• 詳細はこちらを参照: https://github.com/huggingface/nanoVLM?tab=readme-ov-file#hub-integration

💻 使用例

基本的な使用法

from models.vision_language_model import VisionLanguageModel
model = VisionLanguageModel.from_pretrained("lusxvr/nanoVLM-222M")

📚 ドキュメント

モデルアーキテクチャ

• ビジョントランスフォーマー (SigLIP - B/16)
• 因果言語モデル (SmolLM2)
• モダリティ投影層

トレーニング

• トレーニングデータセット: the_cauldronデータセットからの約170万件のサンプル
• トレーニング時間: 単一のNVIDIA H100 GPUで6時間
• 完成したモデルのサイズ: 222Mパラメータ

評価

• MMStar精度: 35.3%

🔧 技術詳細

nanoVLMは、効率的なトレーニングと実験を可能にするために、最小限かつ軽量なビジョン・言語モデルとして設計されています。純粋なPyTorchを使用して構築され、コード量が少なく、理解しやすいアーキテクチャを持っています。画像エンコーダと因果言語モデルを組み合わせることで、コンパクトなモデルを実現しています。

📄 ライセンス

このモデルは、Apache - 2.0ライセンスの下で提供されています。