Mobileclip S1 OpenCLIP

🚀 MobileCLIP：通過多模態強化訓練實現快速圖像文本模型

MobileCLIP是一種通過多模態強化訓練實現的快速圖像文本模型，它解決了傳統模型在速度和性能上難以平衡的問題，為圖像文本處理提供了高效且準確的解決方案。

🚀 快速開始

MobileCLIP在論文 MobileCLIP: Fast Image-Text Models through Multi-Modal Reinforced Training （CVPR 2024）中被提出，作者包括Pavan Kumar Anasosalu Vasu、Hadi Pouransari、Fartash Faghri、Raviteja Vemulapalli和Oncel Tuzel。

本倉庫包含了適用於OpenCLIP的 MobileCLIP - S1 檢查點。

✨ 主要特性

• 最小的變體 MobileCLIP - S0 與 OpenAI 的ViT - B/16模型相比，在零樣本性能上相近，但速度快4.8倍，模型小2.8倍。
• MobileCLIP - S2 比 SigLIP 的ViT - B/16模型在平均零樣本性能上更優，速度快2.3倍，模型小2.1倍，且訓練時所見樣本少3倍。
• MobileCLIP - B(LT) 在零樣本ImageNet上的性能達到 77.2%，顯著優於 DFN、SigLIP 等同架構的近期工作，甚至優於 OpenAI的ViT - L/14@336。

📚 詳細文檔

檢查點信息

📄 許可證

本項目採用apple - amlr許可證，許可證名稱為apple - ascl，詳情請見 [許可證鏈接](https://github.com/apple/ml - mobileclip/blob/main/LICENSE_weights_data)。