Swinv2 Small Patch4 Window8 256

🚀 Swin Transformer v2（小型模型）

Swin Transformer v2 是一个在 ImageNet - 1k 数据集上以 256x256 分辨率预训练的模型。它能够作为图像分类和密集识别任务的通用骨干网络，为计算机视觉领域的相关任务提供强大支持。

🚀 快速开始

你可以使用原始模型进行图像分类。你可以在 模型中心 中查找针对你感兴趣的任务进行微调后的版本。

以下是如何使用此模型将 COCO 2017 数据集中的图像分类为 1000 个 ImageNet 类别之一的示例：

from transformers import AutoImageProcessor, AutoModelForImageClassification
from PIL import Image
import requests

url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = Image.open(requests.get(url, stream=True).raw)

processor = AutoImageProcessor.from_pretrained("microsoft/swinv2-small-patch4-window8-256")
model = AutoModelForImageClassification.from_pretrained("microsoft/swinv2-small-patch4-window8-256")

inputs = processor(images=image, return_tensors="pt")
outputs = model(**inputs)
logits = outputs.logits
# model predicts one of the 1000 ImageNet classes
predicted_class_idx = logits.argmax(-1).item()
print("Predicted class:", model.config.id2label[predicted_class_idx])

更多代码示例，请参考 文档。

✨ 主要特性

模型改进

Swin Transformer v2 在原有的 Swin Transformer 基础上进行了 3 项主要改进：

1. 采用残差后归一化方法并结合余弦注意力机制，提高了训练稳定性。
2. 引入对数间隔连续位置偏置方法，能够有效地将使用低分辨率图像预训练的模型迁移到高分辨率输入的下游任务中。
3. 采用自监督预训练方法 SimMIM，减少了对大量标注图像的需求。

模型优势

Swin Transformer 是一种视觉变换器，它通过在更深的层中合并图像块（灰色部分）来构建分层特征图，并且由于仅在每个局部窗口（红色部分）内计算自注意力，因此对输入图像大小具有线性计算复杂度。这使得它可以作为图像分类和密集识别任务的通用骨干网络。相比之下，以前的视觉变换器只能生成单一低分辨率的特征图，并且由于全局自注意力计算，对输入图像大小具有二次计算复杂度。

来源

📚 详细文档

模型描述

Swin Transformer v2 模型在 ImageNet - 1k 数据集上以 256x256 分辨率进行了预训练。该模型由 Liu 等人在论文 Swin Transformer V2: Scaling Up Capacity and Resolution 中提出，并首次在 [此仓库](https://github.com/microsoft/Swin - Transformer) 中发布。

预期用途和限制

你可以使用原始模型进行图像分类。你可以在 模型中心 中查找针对你感兴趣的任务进行微调后的版本。

BibTeX 引用信息

@article{DBLP:journals/corr/abs-2111-09883,
  author    = {Ze Liu and
               Han Hu and
               Yutong Lin and
               Zhuliang Yao and
               Zhenda Xie and
               Yixuan Wei and
               Jia Ning and
               Yue Cao and
               Zheng Zhang and
               Li Dong and
               Furu Wei and
               Baining Guo},
  title     = {Swin Transformer {V2:} Scaling Up Capacity and Resolution},
  journal   = {CoRR},
  volume    = {abs/2111.09883},
  year      = {2021},
  url       = {https://arxiv.org/abs/2111.09883},
  eprinttype = {arXiv},
  eprint    = {2111.09883},
  timestamp = {Thu, 02 Dec 2021 15:54:22 +0100},
  biburl    = {https://dblp.org/rec/journals/corr/abs-2111-09883.bib},
  bibsource = {dblp computer science bibliography, https://dblp.org}
}

📄 许可证

本模型采用 Apache - 2.0 许可证。