# 自己教師あり学習

自己教師あり学習DINOv2で訓練された視覚Transformerモデル、胸部X線画像のエンコーディング専用

3D医療画像データ向け初の包括的な自己教師あり学習ベンチマーク研究モデルで、複数の事前学習チェックポイントを提供

20億パラメータの自己教師あり視覚Transformerモデル、厳選されたウェブ画像データでトレーニングされ、特に図表とテキスト理解能力を最適化

これはfacebook/dinov2-baseモデルのONNXフォーマット版で、コンピュータビジョンタスクに適しています。

Midnight-12kは病理学の基礎モデルで、少量データでの自己教師あり学習により、先進モデルに匹敵する性能を発揮

大規模な日本のテレビ放送音声データを用いて事前学習された日本語wav2vec2.0 Largeモデル

62,215時間の日本のテレビ放送音声データに基づいて事前学習された日本語音声特徴抽出モデル

AV-HuBERTは視聴音声認識モデルで、MuAViC多言語視聴コーパスで訓練され、音声と視覚モダリティを組み合わせて頑健な性能を実現します。

非コードRNAデータに基づき、マスク言語モデリング（MLM）目標で事前学習されたRNA基礎モデル

Transformerアーキテクチャに基づくDNA配列埋め込みモデル、配列アラインメントとゲノミクス応用をサポート

voc2vecは非言語人間データ専用に設計された基本モデルで、wav2vec 2.0フレームワークに基づいて構築されています。

VideoMAEv2-Baseは自己教師あり学習に基づく動画特徴抽出モデルで、UnlabeldHybrid-1Mデータセット上でデュアルマスキングメカニズムを用いて事前学習されています。

TITANは、病理学画像分析のための視覚的自己教師あり学習と視覚-言語アライメントによるマルチモーダル全スライド基礎モデルです。

Path Foundationは組織病理学アプリケーション向けの機械学習モデルで、自己教師あり学習で訓練され、H&E染色スライドから384次元の埋め込みベクトルを生成し、効率的な分類器モデルの訓練に使用できます。

リモートセンシング分野向けの多言語視覚-言語事前学習モデル、10言語の画像-テキストクロスモーダルタスクをサポート

RNABERTは非コードRNA（ncRNA）に基づく事前学習モデルで、マスク言語モデリング（MLM）と構造アライメント学習（SAL）の目標を採用しています。

MuAViCデータセットに基づく多言語視聴音声認識モデル、音声と視覚モダリティを組み合わせた頑健な性能を実現

I-JEPAは自己教師あり学習手法で、画像の一部の表現から同じ画像の他の部分の表現を予測し、手動のデータ変換やピクセルレベルの詳細を必要としません。

I-JEPAは自己教師あり学習手法で、画像の一部の表現から同じ画像の他の部分の表現を予測し、事前定義された手動データ変換やピクセルレベルの詳細補完に依存しません。

I-JEPAは自己教師あり学習手法で、画像の一部の表現から同じ画像の他の部分の表現を予測し、事前定義された手動データ変換やピクセルレベルの詳細補填に依存しません。

I-JEPAは自己教師あり学習手法で、画像の一部の表現から同じ画像の他の部分の表現を予測し、手動のデータ変換やピクセルレベルの詳細に依存しません。

DINOv2は視覚トランスフォーマーに基づく画像特徴抽出モデルで、レジスタ機構を導入することで特徴抽出能力を向上させています。

DINOv2は視覚変換器(ViT)ベースの画像特徴抽出モデルで、レジスタ機構を導入することで特徴抽出能力を向上させています。

DINOv2 largeは自己教師あり学習に基づく大規模視覚特徴抽出モデルで、ロバストな画像特徴表現を生成できます。

RAD-DINO-MAIRA-2は、DINOv2自己教師あり学習でトレーニングされたビジョントランスフォーマーモデルで、胸部X線画像のエンコードに特化しています。

大声は大規模な自己教師あり学習で訓練された汎用オーディオエンコーダで、音声、音楽、環境音など多分野にわたる豊富なオーディオ情報を捉えることができます。

wav2vec 2.0 は音声表現学習のための自己教師あり学習フレームワークで、ラベル付けされていない音声データから音声特徴を学習できます。

Phikon-v2はVision Transformer Largeアーキテクチャに基づくモデルで、Dinov2自己教師あり手法を用いてPANCAN-XLデータセットで事前学習されており、組織学画像分析に特化しています。

VQVAEはVQ-VAEアーキテクチャに基づく動画生成モデルで、VideoGPTプロジェクトからクローンされ、Hugging Face形式に変換してより簡単にロードできるように設計されています。

Ahma-7BはMeta Llama(v1)アーキテクチャに基づく70億パラメータのデコーダー専用Transformerモデルで、完全にフィンランド語でゼロから事前学習されています。

DINOv2はFacebook Researchがリリースした視覚モデルで、自己教師あり学習により汎用的な視覚特徴を抽出し、様々な下流タスクに適用可能です。

PhikonはiBOTでトレーニングされた組織病理学の自己教師あり学習モデルで、主に組織学的画像パッチから特徴を抽出するために使用されます。

HuBERTアーキテクチャに基づくオーディオ表現学習モデルで、完全なAudioSetデータセットで事前学習済み

HuBERTアーキテクチャに基づくオーディオ表現モデルで、完全なAudioSetデータセットで事前学習されており、汎用オーディオタスクに適しています

HuBERTアーキテクチャに基づくTransformerモデルで、完全なAudioSetデータセットで事前学習されており、汎用オーディオ表現学習タスクに適しています。

HuBERTアーキテクチャに基づくオーディオ表現モデルで、完全なAudioSetデータセットで事前学習されており、汎用オーディオタスクに適しています

TwinBoosterは、PubChem生物検定コーパスでファインチューニングされたDeBERTa V3ベースモデルで、Barlow Twinsの自己教師あり学習手法と勾配ブースティング技術を組み合わせ、分子特性予測を強化します。

TwinBoosterはPubChemの生物学的アッセイコーパスでファインチューニングされたDeBERTa V3ベースモデルで、Barlow Twinsの自己教師あり学習手法を組み合わせ、分子属性予測に使用されます。

Hubert（Hidden-Unit BERT）はFacebookが提案した音声表現学習モデルで、自己教師あり学習方式で生の波形信号から直接音声特徴を学習します。

rinna株式会社が訓練した日本語HuBERT基礎モデルで、約19,000時間の日本語音声コーパスReazonSpeech v1に基づいて訓練されています。