Mobileclip S2 OpenCLIP

🚀 MobileCLIP：通过多模态强化训练实现快速图像文本模型

MobileCLIP是一种图像文本模型，通过多模态强化训练实现快速处理，在零样本图像分类等任务中表现出色，具有速度快、模型小等优势。

✨ 主要特性

• 本项目最小的变体MobileCLIP - S0在零样本性能上与OpenAI的ViT - B/16模型相近，但速度快4.8倍，模型小2.8倍。
• MobileCLIP - S2的平均零样本性能优于SigLIP的ViT - B/16模型，速度快2.3倍，模型小2.1倍，且训练时所见样本少3倍。
• MobileCLIP - B(LT)在零样本ImageNet上的性能达到77.2%，显著优于DFN、SigLIP等近期工作，甚至优于OpenAI的ViT - L/14@336。

📚 详细文档

论文信息

MobileCLIP在论文MobileCLIP: Fast Image - Text Models through Multi - Modal Reinforced Training（CVPR 2024）中被提出，作者包括Pavan Kumar Anasosalu Vasu、Hadi Pouransari、Fartash Faghri、Raviteja Vemulapalli、Oncel Tuzel。

仓库内容

本仓库包含用于OpenCLIP的MobileCLIP - S2检查点。

性能图示

检查点信息

📄 许可证

本项目使用的许可证为apple - amlr（apple - ascl），许可证链接：[https://github.com/apple/ml - mobileclip/blob/main/LICENSE_weights_data](https://github.com/apple/ml - mobileclip/blob/main/LICENSE_weights_data)。