# 跨模態預訓練

基於SigLIP 2的ViT圖像編碼器，專為timm設計，適用於視覺-語言任務

AIMv2是一個基於timm庫的圖像編碼器模型，採用超大尺寸補丁14_448架構，適用於圖像特徵提取任務。

基於SigLIP的ViT-B-16視覺Transformer模型，僅包含圖像編碼器，採用原始注意力池化

針對克羅地亞語優化的SpeechT5文本轉語音微調模型，基於微軟SpeechT5架構和VoxPopuli數據集訓練

基於LibriSpeech數據集微調的SpeechT5自動語音識別模型，支持將語音轉換為文本。

X-CLIP是CLIP的擴展版本，用於通用視頻-語言理解，通過對比學習在視頻和文本對上訓練，適用於視頻分類和視頻-文本檢索任務。

X-CLIP是CLIP的極簡擴展，用於通用視頻語言理解，通過(視頻，文本)對的對比方式進行訓練。

UniXcoder是一個統一的多模態預訓練模型，通過利用多模態數據（如代碼註釋和抽象語法樹）來預訓練代碼表示。

UniXcoder是一個統一的多模態預訓練模型，利用代碼註釋和抽象語法樹等多模態數據預訓練代碼表示。