# ビジュアルTransformer

OpenCLIP-ViT-L-14モデルをベースに、テスト時レジスタ技術を導入し、モデルの解釈可能性と下流タスクの性能を向上させます。

ImageNet - 21kデータセットを使って事前学習されたビジュアルTransformerモデルで、画像分類タスクに使用されます。

BEiTはビジュアルTransformerに基づく画像分類モデルで、自己教師付き方式でImageNet-21k上で事前学習され、ImageNet-1k上で微調整されます。

BEiTは、ビジュアルTransformer（ViT）アーキテクチャに基づくモデルで、自己教師付き学習によりImageNet - 21kで事前学習され、ADE20kデータセットで微調整され、画像セマンティックセグメンテーションタスクに特化しています。

DeiTは、アテンション機構を用いてトレーニングされたデータ効率的な画像Transformerモデルで、ImageNet - 1kデータセット上で224x224の解像度で事前学習と微調整が行われます。

BEiTアーキテクチャに基づくビジュアルTransformerモデルで、マスク検出タスクに特化して設計され、Face - Mask18Kデータセットで微調整されました。