# Transformerエンコーダ

DINOv2手法で訓練された視覚Transformerモデル、自己教師あり学習により画像特徴を抽出

SegFormerはTransformerベースのセマンティックセグメンテーションモデルで、階層型エンコーダと軽量MLPデコーダヘッドを採用しており、ADE20KやCityscapesなどのベンチマークテストで優れた性能を発揮します。

SegFormerはTransformerアーキテクチャに基づくセマンティックセグメンテーションモデルで、階層型エンコーダと軽量MLPデコーダを採用しています。

ImageNet-21kで事前学習されたビジュアルTransformerモデルで、超大サイズのアーキテクチャを採用し、画像分類などのビジュアルタスクに適しています。

このビジュアルTransformer（ViT）モデルは、まずImageNet - 21kデータセットで事前学習され、その後ImageNetデータセットで微調整され、画像分類タスクに適しています。