# 教師なし事前学習

HieraDet画像エンコーダーに基づくSAM2モデルで、画像特徴抽出タスクに特化しています。

DINOv2でトレーニングされた視覚Transformerモデルで、レジスタトークンを追加することでアテンションメカニズムを最適化し、特徴抽出能力を向上

Depth Anything V2 は現在最も性能の高い単眼深度推定モデルで、大規模な合成画像と実画像でトレーニングされており、V1バージョンと比較してより細かい詳細を捕捉でき、よりロバストです。

NVIDIAが開発した視覚特徴抽出モデルで、画像埋め込みを生成し、画像分類などの下流タスクをサポートします。

NVIDIAが開発した視覚特徴抽出モデルで、画像を埋め込みベクトルに変換し下流タスクに利用可能

ESM-1bはTransformerベースのタンパク質言語モデルで、教師なし学習によりタンパク質配列データを学習し、タンパク質の構造や機能予測に利用できます。

wav2vec2アーキテクチャに基づく音声処理モデル、トレーニング詳細は完全に公開されていません

Wav2Vec2は自己教師あり学習に基づく音声認識モデルで、LibriSpeechの960時間の音声データで事前学習と微調整が行われ、英語音声の書き起こしをサポートします。

このモデルは会話中の最後のメッセージの関連性と具体性を評価するために使用され、sberbank-ai/ruRoberta-largeアーキテクチャに基づいています。

このモデルは1.5千時間のベトナム語音声データで事前学習されており、ベトナム語音声認識タスクに適しています。使用前に微調整が必要です。

mT5はT5モデルの多言語版で、101言語をサポートし、mC4コーパスで事前学習されており、様々な自然言語処理タスクに適しています。

mGPTはmC4データセットで事前学習された多言語生成モデルで、101言語をサポートし、GPT-2に似たTransformerアーキテクチャを採用しています。

T5 1.1はグーグルが改良したテキストからテキストへの変換モデルで、GEGLU活性化関数を採用し、アーキテクチャを最適化し、教師なし事前学習に特化しています。

FacebookのWav2Vec2大型モデルで、バルト語族のVoxPopuliコーパスのみを使って27.5時間の無ラベルデータで事前学習されました。

FacebookのWav2Vec2大型モデル、ロマンス語族のVoxPopuliコーパス101.5時間の未ラベルデータのみで事前学習され、音声認識タスクに適しています。

VoxPopuliイタリア語無注釈データで事前学習された音声認識モデル、FacebookのWav2Vec2アーキテクチャを採用

これはFacebookのWav2Vec2アーキテクチャに基づく音声モデルで、リトアニア語に特化して事前学習されており、VoxPopuliコーパスの14.4kの未ラベルデータを使用しています。

mT5はGoogleが開発した多言語テキスト間変換モデルで、101言語をサポートし、mC4データセットで事前学習されています。

大衆の声コーパス10万件の未注釈データで事前学習された音声認識基本モデル

T5 1.1はGoogleが改良したテキストからテキストへの変換モデルで、GEGLU活性化関数と最適化されたアーキテクチャを採用し、教師なし事前学習に焦点を当てています

mT5はGoogleが開発した多言語テキスト-to-テキスト変換モデルで、101言語に対応し、mC4データセットを用いて事前学習され、様々なNLPタスクに適用可能です。

VoxPopuliのイタリア語無注釈データで事前学習されたWav2Vec2ベースモデル、音声認識タスクに適しています。

VoxPopuliコーパスで事前学習されたWav2Vec2ベースモデル、チェコ語音声処理に特化

北ゲルマン語系VoxPopuliコーパスで事前学習された大規模音声モデル

VoxPopuliコーパスの10万件の未注釈データで事前学習された音声認識モデルで、多言語音声表現学習をサポート

Wav2Vec2の基礎モデルで、スペイン語の21.4kの無ラベルデータのみで事前学習され、音声認識タスクに適しています。

CLUECorpusSmallで事前学習された中国語GPT2軽量モデル、パラメータ規模は6層/768隠れ層、中国語テキスト生成タスクに適しています

FacebookのWav2Vec2大型モデル、マルタ語（mt）のみでVoxPopuliコーパスの未ラベルデータを使用して事前学習され、音声認識タスクに適しています。

mT5はT5モデルの多言語バリアントで、101言語をカバーするmC4コーパスで事前学習されており、多言語テキスト処理タスクに適しています。

VoxPopuliコーパスのオランダ語サブセットで事前学習された自動音声認識モデル

Facebook Wav2Vec2アーキテクチャに基づく音声モデルで、フィンランド語に特化して事前学習されており、音声認識タスクに適しています。

Facebook Wav2Vec2アーキテクチャに基づくドイツ語音声事前学習モデルで、VoxPopuliコーパスの23.2kの未ラベルドイツ語データを使用して事前学習されています。

これはFacebookのWav2Vec2アーキテクチャに基づく音声モデルで、スロベニア語(sl)に特化して事前学習されており、VoxPopuliコーパスから11.3kの未ラベルデータを使用しています。

FacebookのWav2Vec2アーキテクチャに基づく音声認識の基礎モデルで、ラトビア語（lv）に特化して事前学習されており、VoxPopuliコーパスの13.1kの未ラベル付きデータを使用しています。

T5バージョン1.1はGoogleが改良したテキストからテキストへの変換モデルで、GEGLU活性化関数を採用し、C4データセットのみで教師なし事前学習を行い、ファインチューニング後に使用する必要があります。

Facebook Wav2Vec2アーキテクチャに基づく音声事前学習モデル、VoxPopuliコーパスのハンガリー語データで事前学習済み

FacebookのWav2Vec2大型モデルで、スラブ語系のVoxPopuliコーパスにおいて88.99999999999999時間の未ラベルデータ事前学習を行っています。

Facebook Wav2Vec2アーキテクチャに基づく音声モデルで、デンマーク語に特化して事前学習されており、VoxPopuliコーパスの13.6kの未ラベルデータを使用しています。

VoxPopuliコーパスの10Kラベルなしサブセットで事前学習され、英語書き起こしデータでファインチューニングされたWav2Vec2ベースモデルで、英語音声認識タスクに適しています。

VoxPopuliコーパスのスペイン語サブセットでトレーニングされた大規模音声事前学習モデルで、スペイン語音声認識タスクに適しています