Alzheimer MRI

🚀 阿爾茨海默病圖像分類 - Google ViT Base Patch16

本模型是基於 google/vit-base-patch16-224-in21k 在 阿爾茨海默病 MRI 數據 上進行微調的版本。它在評估集上取得了以下成績：

• 損失值：0.2127
• 準確率：0.9261

🚀 快速開始

本模型可直接用於圖像分類任務。你可以在 模型中心 查找針對你感興趣任務的微調版本。

✨ 主要特性

• 基於預訓練的 Vision Transformer (ViT) 架構，在大規模圖像數據上進行了預訓練。
• 在阿爾茨海默病 MRI 數據集上進行了微調，適用於相關的圖像分類任務。
• 模型包含預訓練的池化器，可用於下游任務。

📚 詳細文檔

模型描述

視覺變換器（ViT）是一種基於變壓器編碼器的模型（類似於 BERT），它以監督方式在大量圖像集合（即 ImageNet - 21k）上進行預訓練，圖像分辨率為 224x224 像素。

圖像以固定大小的圖像塊序列（分辨率為 16x16）的形式輸入到模型中，並進行線性嵌入。在序列開頭添加一個 [CLS] 標記，用於分類任務。在將序列輸入到變壓器編碼器層之前，還會添加絕對位置嵌入。

需要注意的是，該模型沒有提供任何微調後的頭部，因為谷歌研究人員將其置零。不過，模型包含預訓練的池化器，可用於下游任務（如圖像分類）。

通過預訓練，模型學習到圖像的內部表示，可用於提取對下游任務有用的特徵：例如，如果你有一個帶標籤的圖像數據集，可以在預訓練的編碼器之上放置一個線性層來訓練一個標準分類器。通常會在 [CLS] 標記之上放置一個線性層，因為該標記的最後隱藏狀態可以看作是整個圖像的表示。

預期用途與侷限性

你可以使用原始模型進行圖像分類。可查看 模型中心 以查找針對你感興趣任務的微調版本。

訓練超參數

訓練過程中使用了以下超參數：

• 學習率：5e - 05
• 訓練批次大小：4
• 評估批次大小：4
• 隨機種子：42
• 梯度累積步數：4
• 總訓練批次大小：16
• 優化器：Adam（β1 = 0.9，β2 = 0.999，ε = 1e - 08）
• 學習率調度器類型：線性
• 學習率調度器熱身比例：0.1
• 訓練輪數：10

訓練結果

框架版本

• Transformers 4.31.0
• Pytorch 2.0.1
• Datasets 2.14.3
• Tokenizers 0.13.3

📄 許可證

本模型採用 Apache - 2.0 許可證。

模型信息表格