Mlcd Vit Large Patch14 336

🚀 多模態特徵提取模型

本項目是一個用於特徵提取的模型，基於視覺Transformer架構，在公開圖像-文本數據集上訓練，可用於多模態大語言模型，在多個基準測試中表現出色。

[論文] [GitHub]

🚀 快速開始

本模型使用了與 CLIP相同的視覺Transformer架構 ViT-L/14@336px。

✨ 主要特性

• 使用公開可用的圖像-文本數據進行訓練，具有廣泛的適用性。
• 在多模態大語言模型和線性探測評估中表現出色。

📚 詳細文檔

數據

我們的模型在來自 LAION400M 和 COYO700M 數據集的公開圖像-文本數據上進行了訓練。

性能與侷限性

A. 多模態大語言模型評估結果

在實驗中，我們將 LLaVA-NeXT 中的 CLIP 模型替換為 MLCD 模型，以展示 MLCD 模型在多模態大語言模型（MLLMs）中的性能。對於語言模型，我們使用了 Qwen2.5-7B。評估結果表明，修改後的模型在多個基準測試中表現出色，驗證了 MLCD 模型在 MLLMs 中的有效性。

B. 線性探測評估結果

此表展示了在 ViT_L_14_336px 架構上，CLIP 和 MLCD 模型在各種數據集上的線性探測評估結果。線性探測測試凍結預訓練模型的權重，並在其上訓練線性分類器，以評估模型的表示在不同任務中的泛化能力。

C. 侷限性

高分辨率模型對 OCR 結果更友好。我們目前正在訓練此類模型，並將很快提供。

📄 許可證

本項目採用 Apache-2.0 許可證。

🙏 致謝

我們要感謝 Xie Yin 和 Yumeng Wang 在多模態大語言模型實驗驗證方面做出的重要貢獻。