Alzheimer MRI

🚀 アルツハイマー画像分類 - Google ViT-Base-Patch16

このモデルは、google/vit-base-patch16-224-in21k を アルツハイマーのMRIデータ でファインチューニングしたバージョンです。評価セットでは以下の結果を達成しています。

• 損失: 0.2127
• 正解率: 0.9261

📚 ドキュメント

モデルの説明

Vision Transformer (ViT) は、224x224ピクセルの解像度で、ImageNet-21kという大規模な画像コレクションを使って教師あり学習で事前学習されたトランスフォーマーエンコーダモデル（BERTのような）です。

画像は固定サイズのパッチ（解像度16x16）のシーケンスとしてモデルに入力され、線形埋め込みされます。また、分類タスクに使用するために、シーケンスの先頭に [CLS] トークンを追加します。トランスフォーマーエンコーダのレイヤーにシーケンスを入力する前に、絶対位置埋め込みも追加されます。

このモデルは、Googleの研究者によって0に設定されたため、ファインチューニングされたヘッドを提供していません。ただし、モデルには事前学習されたプーラーが含まれており、下流のタスク（画像分類など）に使用できます。

モデルを事前学習することで、画像の内部表現を学習し、下流のタスクに役立つ特徴を抽出することができます。たとえば、ラベル付き画像のデータセットがある場合、事前学習されたエンコーダの上に線形レイヤーを配置して、標準的な分類器を訓練することができます。通常、[CLS] トークンの上に線形レイヤーを配置します。このトークンの最後の隠れ状態は、画像全体の表現と見なすことができます。

想定される用途と制限

生のモデルを画像分類に使用することができます。興味のあるタスクでファインチューニングされたバージョンを探すには、モデルハブ を参照してください。

訓練のハイパーパラメータ

訓練中に使用されたハイパーパラメータは以下の通りです。

• 学習率: 5e-05
• 訓練バッチサイズ: 4
• 評価バッチサイズ: 4
• シード: 42
• 勾配累積ステップ: 4
• 総訓練バッチサイズ: 16
• オプティマイザ: Adam（ベータ=(0.9,0.999)、イプシロン=1e-08）
• 学習率スケジューラの種類: 線形
• 学習率スケジューラのウォームアップ率: 0.1
• エポック数: 10

訓練結果

フレームワークのバージョン

• Transformers 4.31.0
• Pytorch 2.0.1
• Datasets 2.14.3
• Tokenizers 0.13.3

📄 ライセンス

このモデルは、Apache-2.0ライセンスの下で提供されています。