# 自己教師付き学習

V-JEPA 2はMetaのFAIRチームが開発した最先端のビデオ理解モデルで、VJEPAの事前学習目標を拡張し、業界をリードするビデオ理解能力を備えています。

心電図分析に向けた自己教師付き事前学習基礎モデルで、164種類の心血管病症検出をサポートします。

ビジュアルトランスフォーマー（ViT）に基づく画像分類モデルで、3300万枚の組織学的切片を使用してDINO自己教師付き学習方法で訓練され、病理画像分類タスクに適しています。

Hubert-large-koreanはHubertアーキテクチャに基づく韓国語自動音声認識モデルで、自己教師付き学習により音声波形から直接特徴を抽出し、韓国語音声処理において優れた性能を発揮します。

Transformerベースのエンドツーエンド音声翻訳モデルで、英語からドイツ語への音声翻訳に特化して設計されています。

ペルシア語の自己教師付き学習言語表現のために作られた軽量級BERTモデル

ペルシア語の言語表現の自己教師付き学習に使用される軽量級BERTモデル

HuBERT-Largeは、LibriSpeechの960時間の音声データで微調整された自己教師付き音声表現学習モデルで、自動音声認識タスクに使用されます。

Common Voiceディヴィヒ語データセットに基づいて最初から事前学習されたWav2vec2モデルで、Flaxフレームワークを使用して訓練されました。

GPT2アーキテクチャに基づくポーランド語テキスト生成モデルで、ポーランド語NLP分野の空白を埋め、多言語Oscarコーパスで訓練されました。

DistilHuBERTは、HuBERTモデルを階層的に蒸留することで実現された軽量版の音声表現学習モデルで、性能を維持しながらモデルサイズと計算コストを大幅に削減します。

英語コーパスを用いて事前学習されたTransformerモデルで、ELECTRAに似た目標タスクを採用し、自己教師付き学習によりテキスト表現を獲得します。

ペルシャ語の自己教師付き学習言語表現のための軽量級BERTモデル

英語コーパスに基づいて事前学習されたTransformerモデルで、ELECTRAに類似した目的関数を採用し、自己教師付き方式で英語の内在的な表現を学習します。

Librispeechの960時間の音声データで微調整されたHubert超大型音声認識モデルで、LibriSpeechテストセットでのWERはわずか1.8です。

XLM-RoBERTaは大規模な多言語文エンコーダで、100言語の2.5TBのデータを用いて学習され、多くの多言語ベンチマークテストで優れた性能を発揮します。

data2vec目標を用いて英語言語を事前学習した汎用的な自己教師付き学習フレームワークで、統一的な方法で異なるモーダルのタスクを処理します。

ペルシア語向けの自己教師付き言語表現学習用の軽量版BERTモデル

ELECTRAは、生成型の事前学習ではなく判別型の事前学習を通じた効率的なテキストエンコーダで、低いコンピューティング能力で優れた性能を発揮できます。

Funnel Transformerは自己教師付き学習に基づく英語テキストの事前学習モデルで、ELECTRAに似た目標タスクを採用し、シーケンスの冗長性をフィルタリングすることで効率的な言語処理を実現します。

初のペルシア語向けALBERTモデルで、GoogleのALBERT基礎版2.0アーキテクチャに基づき、多様なペルシア語コーパスで学習されたものです。

初のペルシア語向けの軽量級ALBERTモデルで、GoogleのALBERT BASE 2.0バージョンをベースに訓練されました。

7.6K時間のフランス語音声で訓練されたLarge wav2vec2モデルで、自発的な音声、朗読音声、放送音声のデータが含まれています。

1千時間のフランス語音声で訓練されたwav2vec2の基礎モデルで、音声認識などのタスクをサポートします。

自己教師付き学習に基づく音声事前学習モデルで、23種類のインド語の生の音声から多言語音声表現を学習できます。

2.9K時間のフランス語音声で訓練された大型wav2vec2モデルで、自発的な音声、朗読音声、放送音声の処理をサポートします。

7.6千時間のフランス語音声で訓練されたLarge wav2vec2モデルで、自発的、朗読式、放送式の音声を含む

ペルシャ語向けの自己教師付き言語表現学習用の軽量BERTモデル

2.9K時間のフランス語音声で学習したwav2vec2の基礎モデルで、自発的、朗読、放送音声に対応

ペルシア語用の単言語T5モデルで、OSCAR 21.09コーパスに基づいて自己教師付き方法で訓練され、ペルシア語向けに設計されています。