Mobileclip S2 OpenCLIP

🚀 MobileCLIP：通過多模態強化訓練實現快速圖像文本模型

MobileCLIP是一種圖像文本模型，通過多模態強化訓練實現快速處理，在零樣本圖像分類等任務中表現出色，具有速度快、模型小等優勢。

✨ 主要特性

• 本項目最小的變體MobileCLIP - S0在零樣本性能上與OpenAI的ViT - B/16模型相近，但速度快4.8倍，模型小2.8倍。
• MobileCLIP - S2的平均零樣本性能優於SigLIP的ViT - B/16模型，速度快2.3倍，模型小2.1倍，且訓練時所見樣本少3倍。
• MobileCLIP - B(LT)在零樣本ImageNet上的性能達到77.2%，顯著優於DFN、SigLIP等近期工作，甚至優於OpenAI的ViT - L/14@336。

📚 詳細文檔

論文信息

MobileCLIP在論文MobileCLIP: Fast Image - Text Models through Multi - Modal Reinforced Training（CVPR 2024）中被提出，作者包括Pavan Kumar Anasosalu Vasu、Hadi Pouransari、Fartash Faghri、Raviteja Vemulapalli、Oncel Tuzel。

倉庫內容

本倉庫包含用於OpenCLIP的MobileCLIP - S2檢查點。

性能圖示

檢查點信息

📄 許可證

本項目使用的許可證為apple - amlr（apple - ascl），許可證鏈接：[https://github.com/apple/ml - mobileclip/blob/main/LICENSE_weights_data](https://github.com/apple/ml - mobileclip/blob/main/LICENSE_weights_data)。