Mlcd Vit Large Patch14 336

🚀 ユニコムモデル

このモデルは、マルチモーダル特徴抽出に特化したモデルで、Multimodal Large Language Models (MLLMs) での性能向上に貢献します。

[論文] [GitHub]

📚 ドキュメント

モデル

私たちは、CLIPと同じVision Transformerアーキテクチャ [ViT-L/14@336px] を使用しました。

データ

当モデルは、LAION400M と COYO700M データセットからの公開されている画像キャプションデータで学習されました。

性能と制限事項

A. MLLMs評価結果

実験では、LLaVA-NeXT のCLIPモデルをMLCDモデルに置き換え、Multimodal Large Language Models (MLLMs) でのMLCDモデルの性能を実証しました。言語モデルには Qwen2.5-7B を使用しました。評価結果は、修正後のモデルが複数のベンチマークで非常に良好な性能を発揮し、MLLMs内でのMLCDモデルの有効性を検証しています。

B. 線形プローブ評価結果

この表は、様々なデータセットでのViT_L_14_336pxアーキテクチャのCLIPとMLCDモデルの線形プローブ評価結果を示しています。線形プローブテストでは、事前学習済みモデルの重みを固定し、その上に線形分類器を学習させて、モデルの表現が異なるタスクにどれだけ一般化できるかを評価します。

C. 制限事項

解像度の高いモデルは、OCR結果により友好的です。現在、そのようなモデルを学習中であり、すぐに利用可能にする予定です。

謝辞

私たちは、Xie Yin と Yumeng Wang がMLLMsでの実験検証に大きく貢献してくれたことに感謝を表します。

📄 ライセンス

このプロジェクトは、Apache-2.0ライセンスの下で公開されています。