Mlcd Vit Large Patch14 336

🚀 多模态特征提取模型

本项目是一个用于特征提取的模型，基于视觉Transformer架构，在公开图像-文本数据集上训练，可用于多模态大语言模型，在多个基准测试中表现出色。

[论文] [GitHub]

🚀 快速开始

本模型使用了与 CLIP相同的视觉Transformer架构 ViT-L/14@336px。

✨ 主要特性

• 使用公开可用的图像-文本数据进行训练，具有广泛的适用性。
• 在多模态大语言模型和线性探测评估中表现出色。

📚 详细文档

数据

我们的模型在来自 LAION400M 和 COYO700M 数据集的公开图像-文本数据上进行了训练。

性能与局限性

A. 多模态大语言模型评估结果

在实验中，我们将 LLaVA-NeXT 中的 CLIP 模型替换为 MLCD 模型，以展示 MLCD 模型在多模态大语言模型（MLLMs）中的性能。对于语言模型，我们使用了 Qwen2.5-7B。评估结果表明，修改后的模型在多个基准测试中表现出色，验证了 MLCD 模型在 MLLMs 中的有效性。

B. 线性探测评估结果

此表展示了在 ViT_L_14_336px 架构上，CLIP 和 MLCD 模型在各种数据集上的线性探测评估结果。线性探测测试冻结预训练模型的权重，并在其上训练线性分类器，以评估模型的表示在不同任务中的泛化能力。

C. 局限性

高分辨率模型对 OCR 结果更友好。我们目前正在训练此类模型，并将很快提供。

📄 许可证

本项目采用 Apache-2.0 许可证。

🙏 致谢

我们要感谢 Xie Yin 和 Yumeng Wang 在多模态大语言模型实验验证方面做出的重要贡献。