Vit L16 Mim

🚀 vit_l16_mimのモデルカード

マスク画像モデリング（MIM）を使用して事前学習されたViT - L16画像エンコーダです。このモデルは特定の分類タスクに対してファインチューニングされておらず、汎用的な特徴抽出器として、または物体検出、セグメンテーション、またはカスタム分類などの下流タスクのバックボーンとして使用することを目的としています。

✨ 主な機能

このモデルは、Masked Image Modeling（MIM）を用いて事前学習されたViT - L16画像エンコーダです。特定の分類タスクに対してファインチューニングされていないため、汎用的な特徴抽出器や下流タスクのバックボーンとして利用できます。

📚 ドキュメント

モデルの詳細

💻 使用例

基本的な使用法

import torch
import birder
from PIL import Image

(net, model_info) = birder.load_pretrained_model("vit_l16_mim_400", inference=True)

# Get the image size the model was trained on
size = birder.get_size_from_signature(model_info.signature)

# Create an inference transform
transform = birder.classification_transform(size, model_info.rgb_stats)

image = Image.open("path/to/image.jpeg")
input_tensor = transform(image).unsqueeze(dim=0)
with torch.inference_mode():
    embedding = net.embedding(input_tensor)
    # embedding is a tensor with shape of (1, 1024)

📄 ライセンス

このモデルはApache - 2.0ライセンスの下で提供されています。

📚 引用

@misc{dosovitskiy2021imageworth16x16words,
      title={An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale},
      author={Alexey Dosovitskiy and Lucas Beyer and Alexander Kolesnikov and Dirk Weissenborn and Xiaohua Zhai and Thomas Unterthiner and Mostafa Dehghani and Matthias Minderer and Georg Heigold and Sylvain Gelly and Jakob Uszkoreit and Neil Houlsby},
      year={2021},
      eprint={2010.11929},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2010.11929},
}

@misc{he2021maskedautoencodersscalablevision,
      title={Masked Autoencoders Are Scalable Vision Learners},
      author={Kaiming He and Xinlei Chen and Saining Xie and Yanghao Li and Piotr Dollár and Ross Girshick},
      year={2021},
      eprint={2111.06377},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2111.06377},
}