Mobileclip B OpenCLIP

🚀 MobileCLIP：通過多模態強化訓練實現快速圖像 - 文本模型

MobileCLIP旨在解決圖像 - 文本模型在速度和性能上的平衡問題。它通過多模態強化訓練，在保證模型性能的同時，顯著提升了模型的運行速度和減小了模型體積，為圖像 - 文本處理任務提供了高效的解決方案。

🚀 快速開始

本倉庫包含適用於OpenCLIP的MobileCLIP - B檢查點。

✨ 主要特性

• 高效性能：最小的變體MobileCLIP - S0在零樣本性能上與OpenAI的ViT - B/16模型相近，但速度快4.8倍，體積小2.8倍。
• 卓越表現：MobileCLIP - S2的平均零樣本性能優於SigLIP的ViT - B/16模型，速度快2.3倍，體積小2.1倍，且訓練時所見樣本少3倍。
• 高準確率：MobileCLIP - B(LT)在零樣本ImageNet上的準確率達到77.2%，顯著優於DFN、SigLIP等近期工作，甚至超過OpenAI的ViT - L/14@336。

📚 詳細文檔

論文信息

MobileCLIP由Pavan Kumar Anasosalu Vasu、Hadi Pouransari、Fartash Faghri、Raviteja Vemulapalli、Oncel Tuzel等人在論文MobileCLIP: Fast Image - Text Models through Multi - Modal Reinforced Training（CVPR 2024）中提出。

性能圖示

檢查點信息

📄 許可證

本項目採用apple - amlr許可證，詳細信息請見許可證鏈接。