# 跨模态预训练

基于SigLIP 2的ViT图像编码器，专为timm设计，适用于视觉-语言任务

AIMv2是一个基于timm库的图像编码器模型，采用超大尺寸补丁14_448架构，适用于图像特征提取任务。

基于SigLIP的ViT-B-16视觉Transformer模型，仅包含图像编码器，采用原始注意力池化

针对克罗地亚语优化的SpeechT5文本转语音微调模型，基于微软SpeechT5架构和VoxPopuli数据集训练

基于LibriSpeech数据集微调的SpeechT5自动语音识别模型，支持将语音转换为文本。

X-CLIP是CLIP的扩展版本，用于通用视频-语言理解，通过对比学习在视频和文本对上训练，适用于视频分类和视频-文本检索任务。

X-CLIP是CLIP的极简扩展，用于通用视频语言理解，通过(视频，文本)对的对比方式进行训练。

UniXcoder是一个统一的多模态预训练模型，通过利用多模态数据（如代码注释和抽象语法树）来预训练代码表示。

UniXcoder是一个统一的多模态预训练模型，利用代码注释和抽象语法树等多模态数据预训练代码表示。