# 言語なし教師なし学習

20億パラメータの視覚Transformerモデル、純粋な視覚的教師なし学習により20億のウェブ画像でトレーニングされ、マルチモーダルタスクで優れたパフォーマンスを発揮

DINOv2自己教師あり学習フレームワークでトレーニングされた20億パラメータの視覚Transformerモデル、軽フィルタリングされたウェブ規模の画像データを使用（言語監督不要）。

20億規模の厳選MetaCLIPデータで訓練された30億パラメータの視覚Transformerモデル、DINOv2自己教師あり学習フレームワークを採用

10億パラメータの視覚Transformerモデルで、マスク付き自己符号化器による自己教師あり学習方法で20億のウェブ画像でトレーニングされ、言語監督なしで視覚表現を学習できます。