Vit Base 224 In21k Ft Cifar100

🚀 模型 vit_base-224-in21k-ft-cifar100

本模型是一個用於圖像分類的微調模型，基於 Vision Transformer 架構，在 CIFAR-100 數據集上進行微調，能有效提升圖像分類的準確性。

🚀 快速開始

該模型使用 Amazon SageMaker 和 Hugging Face 深度學習容器進行訓練。基礎模型是 Vision Transformer（基礎大小模型），它是一個基於 Transformer 編碼器的模型（類似 BERT），在大量圖像集合（即 ImageNet-21k）上以監督方式進行預訓練，分辨率為 224x224 像素。基礎模型鏈接

✨ 主要特性

• 微調優化：在 CIFAR-100 數據集上進行微調，提升圖像分類性能。
• 強大基礎：基於在大規模圖像數據集上預訓練的 Vision Transformer 模型。
• 高精度：在測試中達到了 0.9148 的準確率。

📦 安裝指南

文檔未提供具體安裝步驟，可參考相關框架（如 Hugging Face Transformers）的安裝說明。

💻 使用示例

基礎用法

from transformers import ViTFeatureExtractor, ViTModel
from PIL import Image
import requests

url = 'http://images.cocodataset.org/val2017/000000039769.jpg'
image = Image.open(requests.get(url, stream=True).raw)

feature_extractor = ViTFeatureExtractor.from_pretrained('google/vit-base-patch16-224-in21k')
model = ViTModel.from_pretrained('edumunozsala/vit_base-224-in21k-ft-cifar100')
inputs = feature_extractor(images=image, return_tensors="pt")

outputs = model(**inputs)
last_hidden_states = outputs.last_hidden_state

📚 詳細文檔

基礎模型引用

BibTeX 條目和引用信息

@misc{wu2020visual,
      title={Visual Transformers: Token-based Image Representation and Processing for Computer Vision}, 
      author={Bichen Wu and Chenfeng Xu and Xiaoliang Dai and Alvin Wan and Peizhao Zhang and Zhicheng Yan and Masayoshi Tomizuka and Joseph Gonzalez and Kurt Keutzer and Peter Vajda},
      year={2020},
      eprint={2006.03677},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

數據集

數據集描述鏈接

CIFAR-10 和 CIFAR-100 是 8000 萬張微小圖像數據集的帶標籤子集，由 Alex Krizhevsky、Vinod Nair 和 Geoffrey Hinton 收集。

CIFAR-10 數據集由 10 個類別共 60000 張 32x32 彩色圖像組成，每個類別有 6000 張圖像，其中 50000 張用於訓練，10000 張用於測試。CIFAR-100 數據集與 CIFAR-10 類似，但有 100 個類別，每個類別包含 600 張圖像，每個類別有 500 張訓練圖像和 100 張測試圖像。CIFAR-100 中的 100 個類別被分為 20 個超類。每張圖像都帶有一個“精細”標籤（所屬類別）和一個“粗略”標籤（所屬超類）。

數據集大小：

• 訓練數據集：50000
• 測試數據集：10000

預期用途和限制

本模型旨在用於圖像分類任務。

超參數

{
    "epochs": "5",
    "train_batch_size": "32",    
    "eval_batch_size": "8",
    "fp16": "true",
    "learning_rate": "1e-05"
}

測試結果

• 準確率 = 0.9148

📄 許可證

本模型使用 Apache-2.0 許可證。

🔗 模型信息

👨‍💻 作者信息

由 Eduardo Muñoz/@edumunozsala 創建。