Mobileclip B LT OpenCLIP

🚀 MobileCLIP：通過多模態強化訓練實現快速圖像 - 文本模型

MobileCLIP是一種圖像 - 文本模型，通過多模態強化訓練提升性能，能在保證準確率的同時顯著提升速度和減小模型體積，為圖像文本處理任務提供高效解決方案。

✨ 主要特性

• 本倉庫包含適用於OpenCLIP的 MobileCLIP - B (LT) 檢查點。
• 最小的變體 MobileCLIP - S0 與 OpenAI 的ViT - B/16模型相比，零樣本性能相近，但速度快4.8倍，體積小2.8倍。
• MobileCLIP - S2 比 SigLIP 的ViT - B/16模型平均零樣本性能更好，速度快2.3倍，體積小2.1倍，且訓練時所見樣本少3倍。
• MobileCLIP - B(LT) 在零樣本ImageNet上的性能達到 77.2%，顯著優於 DFN、SigLIP 等同架構的近期工作，甚至超過 OpenAI的ViT - L/14@336。

📚 詳細文檔

模型介紹

MobileCLIP由Pavan Kumar Anasosalu Vasu、Hadi Pouransari、Fartash Faghri、Raviteja Vemulapalli和Oncel Tuzel在論文 MobileCLIP: Fast Image - Text Models through Multi - Modal Reinforced Training （CVPR 2024）中提出。

模型性能圖

檢查點詳情

📄 許可證

本項目遵循 apple - amlr 許可證。具體許可證信息請見 許可證鏈接。