Vit Base Oxford Iiit Pets

🚀 vit-base-oxford-iiit-pets

該模型是圖像分類領域的有力工具，它基於預訓練的視覺變換器進行微調，能在牛津-IIIT寵物數據集上精準識別37種不同的貓狗品種，為寵物品種分類等相關任務提供了高效的解決方案。

🚀 快速開始

此模型是 google/vit-base-patch16-224 在 pcuenq/oxford-pets 數據集上的微調版本。它在評估集上取得了以下結果：

• 損失值：0.1924
• 準確率：0.9445

✨ 主要特性

模型描述

該模型是預訓練視覺變換器（google/vit-base-patch16-224）的微調版本，用於在牛津-IIIT寵物數據集上進行圖像分類。它採用遷移學習的方法，將通用視覺模型調整為可識別37種不同貓狗品種的模型。模型頭部經過調整，以輸出數據集中的類別數量，並使用標準分類損失進行端到端訓練。

預期用途與侷限性

預期用途：

• 用於遷移學習和微調視覺模型的教育演示。
• 在與牛津寵物數據集類似的結構化數據集中進行寵物品種分類。
• 與CLIP等零樣本模型進行比較分析。

侷限性：

• 對於牛津-IIIT數據集中未包含的品種，泛化能力可能不佳。
• 不適合用於現實世界的醫療或安全關鍵應用。
• 輸入圖像應清晰、居中，且風格與訓練數據（裁剪後的寵物肖像）相近。

訓練和評估數據

該模型在 牛津-IIIT寵物數據集 上進行訓練和評估，該數據集包含7349張涵蓋37種不同品種的貓狗圖像。數據集對寵物進行了均衡表示，並劃分為訓練集、驗證集和測試集。使用的評估指標包括準確率、精確率和召回率。

訓練過程

訓練超參數

訓練期間使用了以下超參數：

訓練結果

零樣本分類評估（CLIP）

使用 零樣本圖像分類模型：openai/clip-vit-base-patch32 對牛津-IIIT寵物數據集進行評估。CLIP模型未經過訓練，而是使用品種名稱列表（如“暹羅貓”、“波斯貓”、“吉娃娃”）作為候選標籤進行零樣本分類評估。

評估結果

• 準確率：0.8800
• 精確率：0.8768
• 召回率：0.8800

框架版本

• Transformers 4.50.0
• Pytorch 2.6.0+cu124
• Datasets 3.4.1
• Tokenizers 0.21.1

📄 許可證

本項目採用 Apache-2.0 許可證。