Swinv2 Base Patch4 Window16 256

🚀 Swin Transformer v2 (基礎大小模型)

Swin Transformer v2是基於Transformer架構的圖像分類模型，在ImageNet-1k數據集上進行預訓練，能夠有效處理圖像分類任務，具有良好的性能和穩定性。

🚀 快速開始

Swin Transformer v2基礎大小模型在分辨率為256x256的ImageNet-1k數據集上進行了預訓練。它由Liu等人在論文 Swin Transformer V2: Scaling Up Capacity and Resolution 中提出，並首次在 此倉庫 中發佈。

需要注意的是，發佈Swin Transformer v2的團隊並未為此模型編寫模型卡片，本模型卡片由Hugging Face團隊編寫。

✨ 主要特性

模型描述

Swin Transformer是一種視覺Transformer。它通過在更深的層中合併圖像塊（灰色部分所示）來構建分層特徵圖，並且由於僅在每個局部窗口（紅色部分所示）內計算自注意力，因此對輸入圖像大小具有線性計算複雜度。因此，它可以作為圖像分類和密集識別任務的通用主幹網絡。相比之下，之前的視覺Transformer生成單一低分辨率的特徵圖，並且由於全局計算自注意力，對輸入圖像大小具有二次計算複雜度。

Swin Transformer v2主要有3點改進：

1. 採用殘差後歸一化方法與餘弦注意力相結合，以提高訓練穩定性；
2. 採用對數間隔連續位置偏差方法，以有效地將使用低分辨率圖像預訓練的模型遷移到高分辨率輸入的下游任務；
3. 採用自監督預訓練方法SimMIM，以減少對大量標記圖像的需求。

來源

預期用途和限制

你可以使用原始模型進行圖像分類。可以訪問 模型中心 查找針對你感興趣的任務進行微調的版本。

💻 使用示例

基礎用法

以下是如何使用此模型將COCO 2017數據集中的圖像分類為1000個ImageNet類別之一的示例代碼：

from transformers import AutoImageProcessor, AutoModelForImageClassification
from PIL import Image
import requests

url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = Image.open(requests.get(url, stream=True).raw)

processor = AutoImageProcessor.from_pretrained("microsoft/swinv2-base-patch4-window16-256")
model = AutoModelForImageClassification.from_pretrained("microsoft/swinv2-base-patch4-window16-256")

inputs = processor(images=image, return_tensors="pt")
outputs = model(**inputs)
logits = outputs.logits
# 模型預測1000個ImageNet類別之一
predicted_class_idx = logits.argmax(-1).item()
print("Predicted class:", model.config.id2label[predicted_class_idx])

更多代碼示例，請參考 文檔。

BibTeX引用和引用信息

@article{DBLP:journals/corr/abs-2111-09883,
  author    = {Ze Liu and
               Han Hu and
               Yutong Lin and
               Zhuliang Yao and
               Zhenda Xie and
               Yixuan Wei and
               Jia Ning and
               Yue Cao and
               Zheng Zhang and
               Li Dong and
               Furu Wei and
               Baining Guo},
  title     = {Swin Transformer {V2:} Scaling Up Capacity and Resolution},
  journal   = {CoRR},
  volume    = {abs/2111.09883},
  year      = {2021},
  url       = {https://arxiv.org/abs/2111.09883},
  eprinttype = {arXiv},
  eprint    = {2111.09883},
  timestamp = {Thu, 02 Dec 2021 15:54:22 +0100},
  biburl    = {https://dblp.org/rec/journals/corr/abs-2111-09883.bib},
  bibsource = {dblp computer science bibliography, https://dblp.org}
}

📄 許可證

本項目採用Apache-2.0許可證。