# 自己教師付き事前学習

RNAErnieは非コードRNA配列に基づいて自己教師付き事前学習を行うモデルで、多段階マスク言語モデリング目標を採用し、RNA研究に強力な特徴表現能力を提供します。

自己教師付き学習に基づく事前学習Conformerエンコーダモデルで、インドの22種類の指定言語の自動音声認識タスクをサポートします。

BEiTはビジュアルTransformerに基づく画像分類モデルで、自己教師付き方式でImageNet-21k上で事前学習され、ImageNet-1k上で微調整されます。

BEiTは、ビジュアルTransformer（ViT）アーキテクチャに基づくモデルで、自己教師付き学習によりImageNet - 21kで事前学習され、ADE20kデータセットで微調整され、画像セマンティックセグメンテーションタスクに特化しています。

WavLMはマイクロソフトが開発した大規模な自己教師付き事前学習音声モデルで、16kHzサンプリングの音声オーディオを基に事前学習され、フルスタック音声処理タスクに適しています。

Facebookが開発したWav2Vec2の大規模モデルで、960時間のLibri-LightとLibrispeechの音声データを基に事前学習と微調整を行い、自己学習目標を採用し、LibriSpeechテストセットでSOTAの結果を達成しました。

WavLMはマイクロソフトによって開発された大規模な自己教師付き事前学習音声モデルで、16kHzサンプリングの音声オーディオを基に事前学習され、様々な音声処理タスクに適用できます。

T5 - 3Bアーキテクチャに基づくタンパク質配列事前学習モデルで、自己教師付き学習によりタンパク質の生体物理的特性を捉えます。

ProtT5-XL-BFDはタンパク質配列に基づく自己教師付き事前学習モデルで、T5アーキテクチャを採用し、21億のタンパク質配列で学習され、タンパク質特徴抽出と下流タスクの微調整に使用されます。