# 自己教師あり事前学習

3D医療画像データ向け初の包括的な自己教師あり学習ベンチマーク研究モデル

3D医療画像データ向け初の包括的な自己教師あり学習ベンチマーク研究モデル

ProphetNetはシーケンス・ツー・シーケンス学習の事前訓練言語モデルで、未来n-gram予測という自己教師あり目標を採用し、より多くの未来トークンを予測可能

voc2vecは非言語人間データ専用に設計された基礎モデルで、wav2vec 2.0フレームワークを基に構築されており、事前学習データセットには約125時間の非言語音声が含まれています。

広範に拡張可能な心臓アプリケーション向けの自己教師あり基盤モデル。910万件の12誘導心電図を含む学習データで、164種類の心血管疾患をカバー

LWMは無線通信分野初の基盤モデルで、汎用特徴抽出器として開発され、無線チャネルデータから精緻な表現を抽出できます。

大規模汎用音声エンコーダー、自己教師あり学習で訓練され、音声、音楽、環境音など多様な音声情報処理をサポート

BERTurk-LegalはTransformerアーキテクチャに基づく言語モデルで、トルコ法律分野における過去の事例検索タスクに特化しています。

MoLFormerはZINCとPubChemの11億分子SMILES文字列で事前学習された化学言語モデルで、このバージョンは両データセットの10%サンプルで学習

MERTは自己教師あり学習に基づく音響音楽理解モデルで、教師モデルが提供する擬似ラベルを用いて事前学習を行います。

VideoMAEはマスク自己符号化器(MAE)に基づくビデオ自己教師あり事前学習モデルで、Something-Something V2データセットでビデオ分類タスク用にファインチューニングされています。

RegNetY-128GF特徴抽出モデル、SEER手法を用いて20億枚のランダムなネットワーク画像で自己教師あり事前学習を実施

RegNetY-64GF特徴/バックボーンモデル、SEER手法を用いて20億枚のランダムなインターネット画像で自己教師あり事前学習を実施

RegNetY-32GF特徴抽出モデル、SEER手法で20億枚のランダムウェブ画像で事前学習済み、画像分類と特徴抽出タスクに適応

ConvNeXt-V2自己教師あり特徴表現モデル、全畳み込みマスク自己符号化器フレームワーク(FCMAE)で事前学習され、画像分類と特徴抽出タスクに適しています。

ConvNeXt-V2ベースの自己教師あり特徴表現モデルで、全畳み込みマスク自己エンコーダーフレームワーク（FCMAE）を使用して事前学習されており、画像分類と特徴抽出タスクに適しています。

この視覚TransformerモデルはMSN手法で事前学習されており、少数ショットシナリオで優れた性能を発揮し、画像分類などのタスクに適しています

この視覚TransformerモデルはMSN手法で事前学習されており、少数ショットシナリオで優れた性能を発揮し、画像分類などのタスクに適しています

MSN手法で事前学習された視覚Transformerモデルで、少数ショットシナリオで優れた性能を発揮

この視覚TransformerモデルはMSN手法で事前学習されており、少数ショット学習シナリオに適しており、特に画像分類タスクに最適です。

VideoMAEはマスク自己符号化器(MAE)に基づくビデオ自己教師あり事前学習モデルで、Something-Something-v2データセットで800エポックの事前学習を行いました。

Swin Transformer v2は、階層的特徴マップとローカルウィンドウ自己注意メカニズムにより、効率的な画像分類と密な認識タスクを実現するビジョントランスフォーマーモデルです。

Swin Transformer v2は、階層的特徴マップと局所ウィンドウ自己注意メカニズムにより、効率的な画像分類と密な認識タスクを実現する視覚Transformerモデルです。

Swin Transformer v2は、階層的特徴マップと局所ウィンドウ自己注意機構により効率的な画像分類と密な認識タスクを実現する視覚Transformerモデルです。

Swin Transformer v2は、階層的特徴マップとローカルウィンドウ自己注意メカニズムを通じて効率的な画像処理を実現する視覚Transformerモデルです。

Swin Transformer v2はImageNet-1kで事前学習された視覚Transformerモデルで、階層的特徴マップと局所ウィンドウ自己注意機構を採用し、線形計算複雑性を持ちます。

このモデルは3千時間のベトナム語音声データで事前学習されたWav2Vec2ベースモデルで、ベトナム語音声認識タスクに適しており、下流タスクで微調整して使用する必要があります。

ImageNet-1kで訓練されたRegNet画像分類モデル、自己教師あり事前学習とファインチューニング手法を採用

imagenet-1kで訓練されたRegNetモデル、自己教師あり方式で数十億枚のランダムなウェブ画像で事前学習後にファインチューニング

IIT-CDIPで事前学習し、RVL-CDIPでファインチューニングされた文書画像分類モデル、Transformerアーキテクチャを採用

DiTはTransformerベースの文書画像分類モデルで、IIT-CDIPデータセットで事前学習され、RVL-CDIPデータセットでファインチューニングされています

BEiTはVision Transformerベースのモデルで、自己教師あり学習によりImageNet-21kで事前学習され、ImageNet-1kでファインチューニングされた画像分類タスク用モデルです。

BEiTはVision Transformer(ViT)アーキテクチャに基づく画像分類モデルで、自己教師あり学習によりImageNet-21kで事前学習され、ImageNet-1kでファインチューニングされています。

XLM-Alignは94言語をサポートする事前学習済みの言語間モデルで、自己注釈付き単語アラインメントにより言語間事前学習モデルを改善します。

TAPASはTransformerベースの表質問応答モデルで、ウィキペディア英語表データを用いた自己教師あり方式で事前学習され、表質問応答と含意判断タスクをサポートします。

BEiTは画像トランスフォーマーに基づく視覚モデルで、BERTのような自己教師あり事前学習手法を採用し、最初にImageNet-22kで事前学習とファインチューニングを行い、その後ImageNet-1kでさらにファインチューニングを行います。

XLM-RoBERTa-XLは、100言語を含む2.5TBのフィルタリングされたCommonCrawlデータで事前学習された多言語モデルで、RoBERTaアーキテクチャの超大規模バージョンです。

BEiTはビジョントランスフォーマーアーキテクチャに基づく画像分類モデルで、ImageNet-21kで自己教師あり方式で事前学習され、ImageNet-1kでファインチューニングされています。

COReモデルはBioBERTアーキテクチャに基づいており、臨床記録、疾患説明、医学文献に対して事前学習を行い、患者の院内死亡リスクを予測するために設計されています。

BEiTはビジョントランスフォーマーアーキテクチャに基づく画像セグメンテーションモデルで、自己教師あり事前学習とADE20kデータセットによるファインチューニングにより効率的なセマンティックセグメンテーションを実現します。