🚀 视觉变换器(大型模型)
视觉变换器(ViT)是一种基于Transformer架构的图像识别模型,它在大规模图像数据集上进行预训练,学习图像的内在表示,可用于提取对下游任务有用的特征。
🚀 快速开始
视觉变换器(ViT)是一个基于Transformer编码器的模型(类似BERT),它在大规模图像数据集(即ImageNet - 21k)上以监督方式进行预训练,图像分辨率为224x224像素。
from transformers import ViTImageProcessor, ViTModel
from PIL import Image
import requests
url = 'http://images.cocodataset.org/val2017/000000039769.jpg'
image = Image.open(requests.get(url, stream=True).raw)
processor = ViTImageProcessor.from_pretrained('google/vit-large-patch16-224-in21k')
model = ViTModel.from_pretrained('google/vit-large-patch16-224-in21k')
inputs = processor(images=image, return_tensors="pt")
outputs = model(**inputs)
last_hidden_state = outputs.last_hidden_state
目前,特征提取器和模型都支持PyTorch。Tensorflow和JAX/FLAX即将支持,并且ViTFeatureExtractor的API可能会发生变化。
✨ 主要特性
- 以监督方式在大规模图像数据集ImageNet - 21k上进行预训练。
- 图像以固定大小的图像块序列形式输入模型,并进行线性嵌入。
- 模型包含预训练的池化器,可用于下游任务。
📦 安装指南
文档未提及安装步骤,故跳过此章节。
💻 使用示例
基础用法
from transformers import ViTImageProcessor, ViTModel
from PIL import Image
import requests
url = 'http://images.cocodataset.org/val2017/000000039769.jpg'
image = Image.open(requests.get(url, stream=True).raw)
processor = ViTImageProcessor.from_pretrained('google/vit-large-patch16-224-in21k')
model = ViTModel.from_pretrained('google/vit-large-patch16-224-in21k')
inputs = processor(images=image, return_tensors="pt")
outputs = model(**inputs)
last_hidden_state = outputs.last_hidden_state
高级用法
文档未提及高级用法代码示例,故跳过此部分。
📚 详细文档
模型描述
视觉变换器(ViT)是一个基于Transformer编码器的模型(类似BERT),它在大规模图像数据集(即ImageNet - 21k)上以监督方式进行预训练,图像分辨率为224x224像素。
图像以固定大小的图像块序列(分辨率为16x16)的形式呈现给模型,并进行线性嵌入。同时,在序列开头添加一个[CLS]标记,用于分类任务。在将序列输入到Transformer编码器的各层之前,还会添加绝对位置嵌入。
需要注意的是,该模型不提供任何微调后的头部,因为这些头部被谷歌研究人员归零处理了。不过,模型包含预训练的池化器,可用于下游任务(如图像分类)。
通过对模型进行预训练,它学习到图像的内在表示,这些表示可用于提取对下游任务有用的特征:例如,如果您有一个带标签的图像数据集,您可以在预训练的编码器之上放置一个线性层,训练一个标准的分类器。通常,会在[CLS]标记之上放置一个线性层,因为该标记的最后隐藏状态可以看作是整个图像的表示。
预期用途和局限性
您可以使用原始模型对图像进行嵌入,但它主要用于在下游任务上进行微调。
训练数据
ViT模型在ImageNet - 21k数据集上进行预训练,该数据集包含1400万张图像和21000个类别。
训练过程
预处理
训练/验证期间图像预处理的确切细节可在此处找到。
图像被调整大小/缩放至相同的分辨率(224x224),并在RGB通道上进行归一化,均值为(0.5, 0.5, 0.5),标准差为(0.5, 0.5, 0.5)。
预训练
该模型在TPUv3硬件(8核)上进行训练。所有模型变体均以4096的批量大小和10000步的学习率预热进行训练。对于ImageNet,作者发现额外应用全局范数为1的梯度裁剪是有益的。预训练分辨率为224。
评估结果
关于几个图像分类基准的评估结果,请参考原论文的表2和表5。需要注意的是,对于微调,在更高分辨率(384x384)下可获得最佳结果。当然,增加模型大小会提高性能。
🔧 技术细节
文档未提供足够详细的技术实现细节(少于50字),故跳过此章节。
📄 许可证
本项目采用Apache - 2.0许可证。
BibTeX引用和引用信息
@misc{wu2020visual,
title={Visual Transformers: Token-based Image Representation and Processing for Computer Vision},
author={Bichen Wu and Chenfeng Xu and Xiaoliang Dai and Alvin Wan and Peizhao Zhang and Zhicheng Yan and Masayoshi Tomizuka and Joseph Gonzalez and Kurt Keutzer and Peter Vajda},
year={2020},
eprint={2006.03677},
archivePrefix={arXiv},
primaryClass={cs.CV}
}
@inproceedings{deng2009imagenet,
title={Imagenet: A large-scale hierarchical image database},
author={Deng, Jia and Dong, Wei and Socher, Richard and Li, Li-Jia and Li, Kai and Fei-Fei, Li},
booktitle={2009 IEEE conference on computer vision and pattern recognition},
pages={248--255},
year={2009},
organization={Ieee}
}
📋 信息表格
属性 |
详情 |
模型类型 |
视觉变换器(ViT) |
训练数据 |
ImageNet - 21k(包含1400万张图像和21000个类别) |