Efficientformer L1 300

🚀 EfficientFormer-L1

EfficientFormer-L1は、Snap Researchによって開発された画像分類モデルです。このモデルは、モバイルデバイスでの低レイテンシと高い性能を両立させることを目指しています。

🚀 クイックスタート

以下のコードを使用して、モデルを使い始めることができます。

import requests
import torch
from PIL import Image

from transformers import EfficientFormerImageProcessor, EfficientFormerForImageClassificationWithTeacher

# Load a COCO image of two cats to test the model
url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = Image.open(requests.get(url, stream=True).raw)

# Load preprocessor and pretrained model
model_name = "huggingface/efficientformer-l1-300"
processor = EfficientFormerImageProcessor.from_pretrained(model_name)
model = EfficientFormerForImageClassificationWithTeacher.from_pretrained(model_name)

# Preprocess input image
inputs = processor(images=image, return_tensors="pt")

# Inference
with torch.no_grad():
	outputs = model(**inputs)

# Print the top ImageNet1k class prediction 
logits = outputs.logits
scores = torch.nn.functional.softmax(logits, dim=1)
top_pred_class = torch.argmax(scores, dim=1)
print(f"Predicted class: {top_pred_class}")

✨ 主な機能

このモデルは、画像分類とセマンティックセグメンテーションに使用できます。モバイルデバイス（iPhone 12でテスト）では、CoreMLチェックポイントが低レイテンシでこれらのタスクを実行します。

📚 ドキュメント

モデルの詳細

EfficientFormer-L1は、Snap Researchによって開発された3つのEfficientFormerモデルの1つです。EfficientFormerモデルは、適切に設計されたトランスフォーマーが、高性能を維持しながらモバイルデバイスで極めて低いレイテンシを達成できることを証明するために公開されました。

このEfficientFormer-L1のチェックポイントは、1000エポックで学習されました。

制限事項とバイアス

EfficientFormerのほとんどの設計は汎用的ですが、例えば次元一致設計やCONV - BN融合を備えた4Dブロックなど、EfficientFormerの実際の速度は他のプラットフォームでは異なる場合があります。たとえば、特定のハードウェアとコンパイラでGeLUがサポートされていない一方でHardSwishが効率的に実装されている場合、演算子を適宜変更する必要があるかもしれません。提案されたレイテンシ駆動型のスリミングは簡単で高速ですが、探索コストを考慮せずに列挙ベースのブルートサーチを行うと、より良い結果が得られるかもしれません。

このモデルはImagenet - 1Kで学習されているため、そのデータセットに埋め込まれたバイアスがEfficientFormerモデルに反映されます。

学習

学習データ

このモデルはImageNet - 1Kで学習されました。詳細はデータカードを参照してください。

学習手順

• パラメータ数: 12.3 M
• GMACs: 1.3
• 学習エポック数: 1000

NVIDIA A100とV100 GPUを搭載したクラスタで学習されました。

評価結果

ImageNet 10KでのTop - 1精度: 80.2%

引用情報

@article{li2022efficientformer,
  title={EfficientFormer: Vision Transformers at MobileNet Speed},
  author={Li, Yanyu and Yuan, Geng and Wen, Yang and Hu, Eric and Evangelidis, Georgios and Tulyakov, Sergey and Wang, Yanzhi and Ren, Jian},
  journal={arXiv preprint arXiv:2206.01191},
  year={2022}
}

📄 ライセンス

このモデルはapache-2.0ライセンスの下で提供されています。