Mobileclip S2 Timm

🚀 MobileCLIP：通過多模態強化訓練實現快速圖像文本模型

MobileCLIP是一種圖像文本模型，通過多模態強化訓練實現快速推理。它在速度和模型大小上有顯著優勢，不同變體在零樣本性能上表現出色，可應用於圖像分類等任務。

🚀 快速開始

MobileCLIP在論文 MobileCLIP: Fast Image-Text Models through Multi-Modal Reinforced Training （CVPR 2024）中被提出，作者包括Pavan Kumar Anasosalu Vasu、Hadi Pouransari、Fartash Faghri、Raviteja Vemulapalli和Oncel Tuzel。

本倉庫包含用於timm的 MobileCLIP - S2 檢查點。

✨ 主要特性

• 我們最小的變體 MobileCLIP - S0 獲得了與 OpenAI 的ViT - B/16模型相似的零樣本性能，同時速度快4.8倍，模型小2.8倍。
• MobileCLIP - S2 獲得了比 SigLIP 的ViT - B/16模型更好的平均零樣本性能，同時速度快2.3倍，模型小2.1倍，並且訓練時所見樣本少3倍。
• MobileCLIP - B(LT) 在ImageNet上的零樣本性能達到了 77.2%，顯著優於具有相似架構的近期工作，如 DFN 和 SigLIP，甚至優於 OpenAI的ViT - L/14@336。

📚 詳細文檔

檢查點

📄 許可證

本項目採用 apple - amlr 許可證。