Vit Base Patch16 224.dino Mlxim

🚀 vit_base_patch16_224.dino

このモデルは、DINOを用いてImageNet-1kデータセットで学習されたVision Transformerの画像分類モデルです。ImageNet-1kデータセットで自己教師あり学習方式で学習されており、分類ヘッドは学習されておらず、バックボーンのみが学習されています。

なお、これはtorchモデルの重みをApple MLX Frameworkに移植したものです。

🚀 クイックスタート

このセクションでは、モデルのインストールと使用方法について説明します。

📦 インストール

まずは、必要なライブラリをインストールしましょう。以下のコマンドを使用してmlx-imageをインストールできます。

pip install mlx-image

💻 使用例

基本的な使用法

以下は、このモデルを画像分類に使用する基本的なコード例です。

from mlxim.model import create_model
from mlxim.io import read_rgb
from mlxim.transform import ImageNetTransform

transform = ImageNetTransform(train=False, img_size=224)
x = transform(read_rgb("cat.png"))
x = mx.expand_dims(x, 0)

model = create_model("vit_base_patch16_224.dino")
model.eval()

logits, attn_masks = model(x, attn_masks=True)

高度な使用法

ヘッドの前のレイヤーから埋め込みを取得することもできます。以下に2つの方法を示します。

from mlxim.model import create_model
from mlxim.io import read_rgb
from mlxim.transform import ImageNetTransform

transform = ImageNetTransform(train=False, img_size=512)
x = transform(read_rgb("cat.png"))
x = mx.expand_dims(x, 0)

# 最初のオプション
model = create_model("vit_base_patch16_224.dino", num_classes=0)
model.eval()

embeds = model(x)

# 2番目のオプション
model = create_model("vit_base_patch16_224.dino")
model.eval()

embeds, attn_masks = model.get_features(x)

🔧 技術詳細

注意マップ

モデルが返すattn_masksを使用して、注意マップを可視化することができます。詳細はmlx-imageのノートブックを参照してください。

📄 ライセンス

このプロジェクトは、Apache-2.0ライセンスの下で公開されています。