# クロスモーダル事前学習

SigLIP 2に基づくViT画像エンコーダ、timm向けに設計され、視覚-言語タスクに適応

AIMv2はtimmライブラリに基づく画像エンコーダーモデルで、超大サイズパッチ14_448アーキテクチャを採用し、画像特徴抽出タスクに適しています。

SigLIPベースのViT-B-16視覚Transformerモデル、画像エンコーダーのみを含み、オリジナルアテンションプーリングを採用

クロアチア語に最適化されたSpeechT5テキスト音声変換ファインチューニングモデル、マイクロソフトSpeechT5アーキテクチャとVoxPopuliデータセットでトレーニング

LibriSpeechデータセットでファインチューニングされたSpeechT5自動音声認識モデルで、音声をテキストに変換する機能をサポートしています。

X-CLIPはCLIPの拡張版で、ビデオと言語の汎用的な理解のために、ビデオとテキストのペアで対照学習を行い、ビデオ分類やビデオ-テキスト検索タスクに適しています。

X-CLIPはCLIPのミニマルな拡張で、汎用的なビデオ言語理解のために、(ビデオ、テキスト)ペアの対照学習方式でトレーニングされています。

UniXcoderは、コードコメントや抽象構文木などのマルチモーダルデータを活用してコード表現を事前学習する統一マルチモーダル事前学習モデルです。

UniXcoderは統一されたマルチモーダル事前学習モデルで、コードコメントや抽象構文木などのマルチモーダルデータを使用してコード表現を事前学習します。