🚀 MobileViT (超超小型模型)
MobileViT 是一個輕量級的圖像分類模型,結合了 MobileNetV2 風格的層和基於 Transformer 的全局處理模塊,可用於高效的圖像分類任務。
🚀 快速開始
你可以使用以下代碼將 COCO 2017 數據集中的圖像分類為 1000 個 ImageNet 類別之一:
from transformers import MobileViTFeatureExtractor, MobileViTForImageClassification
from PIL import Image
import requests
url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = Image.open(requests.get(url, stream=True).raw)
feature_extractor = MobileViTFeatureExtractor.from_pretrained("apple/mobilevit-xx-small")
model = MobileViTForImageClassification.from_pretrained("apple/mobilevit-xx-small")
inputs = feature_extractor(images=image, return_tensors="pt")
outputs = model(**inputs)
logits = outputs.logits
predicted_class_idx = logits.argmax(-1).item()
print("Predicted class:", model.config.id2label[predicted_class_idx])
目前,特徵提取器和模型都支持 PyTorch。
✨ 主要特性
- MobileViT 是一種輕量級、低延遲的卷積神經網絡,它將 MobileNetV2 風格的層與一個新的模塊相結合,該模塊使用 Transformer 以全局處理替代卷積中的局部處理。
- 與 ViT(視覺 Transformer)一樣,圖像數據在由 Transformer 層處理之前會轉換為扁平化的圖像塊,之後這些圖像塊會“反扁平化”回特徵圖,這使得 MobileViT 模塊可以放置在 CNN 內的任何位置。
- MobileViT 不需要任何位置嵌入。
📚 詳細文檔
模型描述
MobileViT 是一種輕量級、低延遲的卷積神經網絡,它將 MobileNetV2 風格的層與一個新的模塊相結合,該模塊使用 Transformer 以全局處理替代卷積中的局部處理。與 ViT(視覺 Transformer)一樣,圖像數據在由 Transformer 層處理之前會轉換為扁平化的圖像塊,之後這些圖像塊會“反扁平化”回特徵圖。這使得 MobileViT 模塊可以放置在 CNN 內的任何位置。MobileViT 不需要任何位置嵌入。
預期用途和限制
你可以使用原始模型進行圖像分類。請查看模型中心,以查找針對你感興趣的任務進行微調的版本。
訓練數據
MobileViT 模型在 ImageNet-1k 上進行了預訓練,這是一個由 100 萬張圖像和 1000 個類別組成的數據集。
訓練過程
預處理
訓練只需要基本的數據增強,即隨機裁剪和水平翻轉。
為了在不進行微調的情況下學習多尺度表示,在訓練期間使用了多尺度採樣器,圖像大小從 (160, 160)、(192, 192)、(256, 256)、(288, 288)、(320, 320) 中隨機採樣。
在推理時,圖像被調整/縮放為相同的分辨率 (288x288),並在 256x256 處進行中心裁剪。
像素被歸一化到 [0, 1] 範圍。圖像預期為 BGR 像素順序,而不是 RGB。
預訓練
MobileViT 網絡在 8 個 NVIDIA GPU 上的 ImageNet-1k 上從頭開始訓練 300 個 epoch,有效批量大小為 1024,學習率預熱 3000 步,然後進行餘弦退火。還使用了標籤平滑交叉熵損失和 L2 權重衰減。訓練分辨率從 160x160 到 320x320 不等,使用多尺度採樣。
評估結果
模型 |
ImageNet 前 1 準確率 |
ImageNet 前 5 準確率 |
參數數量 |
URL |
MobileViT-XXS |
69.0 |
88.9 |
1.3 M |
https://huggingface.co/apple/mobilevit-xx-small |
MobileViT-XS |
74.8 |
92.3 |
2.3 M |
https://huggingface.co/apple/mobilevit-x-small |
MobileViT-S |
78.4 |
94.1 |
5.6 M |
https://huggingface.co/apple/mobilevit-small |
BibTeX 引用和引用信息
@inproceedings{vision-transformer,
title = {MobileViT: Light-weight, General-purpose, and Mobile-friendly Vision Transformer},
author = {Sachin Mehta and Mohammad Rastegari},
year = {2022},
URL = {https://arxiv.org/abs/2110.02178}
}
📄 許可證
該模型使用的許可證是 Apple 示例代碼許可證。
⚠️ 重要提示
發佈 MobileViT 的團隊沒有為該模型編寫模型卡片,因此此模型卡片由 Hugging Face 團隊編寫。