Vit Base 224 In21k Ft Cifar100

🚀 模型 vit_base-224-in21k-ft-cifar100

本模型是一个用于图像分类的微调模型，基于 Vision Transformer 架构，在 CIFAR-100 数据集上进行微调，能有效提升图像分类的准确性。

🚀 快速开始

该模型使用 Amazon SageMaker 和 Hugging Face 深度学习容器进行训练。基础模型是 Vision Transformer（基础大小模型），它是一个基于 Transformer 编码器的模型（类似 BERT），在大量图像集合（即 ImageNet-21k）上以监督方式进行预训练，分辨率为 224x224 像素。基础模型链接

✨ 主要特性

• 微调优化：在 CIFAR-100 数据集上进行微调，提升图像分类性能。
• 强大基础：基于在大规模图像数据集上预训练的 Vision Transformer 模型。
• 高精度：在测试中达到了 0.9148 的准确率。

📦 安装指南

文档未提供具体安装步骤，可参考相关框架（如 Hugging Face Transformers）的安装说明。

💻 使用示例

基础用法

from transformers import ViTFeatureExtractor, ViTModel
from PIL import Image
import requests

url = 'http://images.cocodataset.org/val2017/000000039769.jpg'
image = Image.open(requests.get(url, stream=True).raw)

feature_extractor = ViTFeatureExtractor.from_pretrained('google/vit-base-patch16-224-in21k')
model = ViTModel.from_pretrained('edumunozsala/vit_base-224-in21k-ft-cifar100')
inputs = feature_extractor(images=image, return_tensors="pt")

outputs = model(**inputs)
last_hidden_states = outputs.last_hidden_state

📚 详细文档

基础模型引用

BibTeX 条目和引用信息

@misc{wu2020visual,
      title={Visual Transformers: Token-based Image Representation and Processing for Computer Vision}, 
      author={Bichen Wu and Chenfeng Xu and Xiaoliang Dai and Alvin Wan and Peizhao Zhang and Zhicheng Yan and Masayoshi Tomizuka and Joseph Gonzalez and Kurt Keutzer and Peter Vajda},
      year={2020},
      eprint={2006.03677},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

数据集

数据集描述链接

CIFAR-10 和 CIFAR-100 是 8000 万张微小图像数据集的带标签子集，由 Alex Krizhevsky、Vinod Nair 和 Geoffrey Hinton 收集。

CIFAR-10 数据集由 10 个类别共 60000 张 32x32 彩色图像组成，每个类别有 6000 张图像，其中 50000 张用于训练，10000 张用于测试。CIFAR-100 数据集与 CIFAR-10 类似，但有 100 个类别，每个类别包含 600 张图像，每个类别有 500 张训练图像和 100 张测试图像。CIFAR-100 中的 100 个类别被分为 20 个超类。每张图像都带有一个“精细”标签（所属类别）和一个“粗略”标签（所属超类）。

数据集大小：

• 训练数据集：50000
• 测试数据集：10000

预期用途和限制

本模型旨在用于图像分类任务。

超参数

{
    "epochs": "5",
    "train_batch_size": "32",    
    "eval_batch_size": "8",
    "fp16": "true",
    "learning_rate": "1e-05"
}

测试结果

• 准确率 = 0.9148

📄 许可证

本模型使用 Apache-2.0 许可证。

🔗 模型信息

👨‍💻 作者信息

由 Eduardo Muñoz/@edumunozsala 创建。