Cvt W24 384 22k

🚀 畳み込みビジョントランスフォーマー (CvT)

CvTは、画像認識の分野において、畳み込み層をビジョントランスフォーマーに導入することで、高精度な画像分類を実現するモデルです。このCvT - w24モデルは、ImageNet - 22kで事前学習され、解像度384x384のImageNet - 1kでファインチューニングされています。

🚀 クイックスタート

CvT - w24モデルは、ImageNet - 22kデータセットで事前学習され、その後ImageNet - 1kデータセットでファインチューニングされました。このモデルは、Wuらによる論文 CvT: Introducing Convolutions to Vision Transformers で紹介され、このリポジトリ で最初に公開されました。

なお、CvTを公開したチームはこのモデルのモデルカードを作成していないため、このモデルカードはHugging Faceチームによって作成されています。

💻 使用例

基本的な使用法

以下は、このモデルを使用してCOCO 2017データセットの画像を1,000種類のImageNetクラスのいずれかに分類する方法です。

from transformers import AutoFeatureExtractor, CvtForImageClassification
from PIL import Image
import requests

url = 'http://images.cocodataset.org/val2017/000000039769.jpg'
image = Image.open(requests.get(url, stream=True).raw)

feature_extractor = AutoFeatureExtractor.from_pretrained('microsoft/cvt-w24-384-22k')
model = CvtForImageClassification.from_pretrained('microsoft/cvt-w24-384-22k')

inputs = feature_extractor(images=image, return_tensors="pt")
outputs = model(**inputs)
logits = outputs.logits
# model predicts one of the 1000 ImageNet classes
predicted_class_idx = logits.argmax(-1).item()
print("Predicted class:", model.config.id2label[predicted_class_idx])

📄 ライセンス

このモデルはApache - 2.0ライセンスの下で公開されています。