Mobileclip S0 Timm

🚀 MobileCLIP：通過多模態強化訓練實現快速圖像 - 文本模型

MobileCLIP旨在解決圖像 - 文本模型在速度和效率方面的問題，通過多模態強化訓練，在保證性能的同時顯著提升了模型的運行速度並減小了模型體積，為相關領域的應用提供了更高效的解決方案。

🚀 快速開始

MobileCLIP由Pavan Kumar Anasosalu Vasu、Hadi Pouransari、Fartash Faghri、Raviteja Vemulapalli和Oncel Tuzel在論文 MobileCLIP: Fast Image - Text Models through Multi - Modal Reinforced Training （CVPR 2024）中提出。本倉庫包含了與TIMM兼容的 MobileCLIP - S0 檢查點。

✨ 主要特性

• 最小的變體 MobileCLIP - S0 與 OpenAI 的ViT - B/16模型相比，零樣本性能相近，但速度快4.8倍，體積小2.8倍。
• MobileCLIP - S2 比 SigLIP 的ViT - B/16模型平均零樣本性能更優，速度快2.3倍，體積小2.1倍，且訓練時所見樣本少3倍。
• MobileCLIP - B(LT) 在零樣本ImageNet上的性能達到 77.2%，顯著優於 DFN、SigLIP 等同架構的近期工作，甚至超過 OpenAI's ViT - L/14@336。

📚 詳細文檔

檢查點

📄 許可證

本項目採用 [apple - amlr](https://github.com/apple/ml - mobileclip/blob/main/LICENSE_weights_data) 許可證。