Mobileclip S1 OpenCLIP

🚀 MobileCLIP：通过多模态强化训练实现快速图像文本模型

MobileCLIP是一种通过多模态强化训练实现的快速图像文本模型，它解决了传统模型在速度和性能上难以平衡的问题，为图像文本处理提供了高效且准确的解决方案。

🚀 快速开始

MobileCLIP在论文 MobileCLIP: Fast Image-Text Models through Multi-Modal Reinforced Training （CVPR 2024）中被提出，作者包括Pavan Kumar Anasosalu Vasu、Hadi Pouransari、Fartash Faghri、Raviteja Vemulapalli和Oncel Tuzel。

本仓库包含了适用于OpenCLIP的 MobileCLIP - S1 检查点。

✨ 主要特性

• 最小的变体 MobileCLIP - S0 与 OpenAI 的ViT - B/16模型相比，在零样本性能上相近，但速度快4.8倍，模型小2.8倍。
• MobileCLIP - S2 比 SigLIP 的ViT - B/16模型在平均零样本性能上更优，速度快2.3倍，模型小2.1倍，且训练时所见样本少3倍。
• MobileCLIP - B(LT) 在零样本ImageNet上的性能达到 77.2%，显著优于 DFN、SigLIP 等同架构的近期工作，甚至优于 OpenAI的ViT - L/14@336。

📚 详细文档

检查点信息

📄 许可证

本项目采用apple - amlr许可证，许可证名称为apple - ascl，详情请见 [许可证链接](https://github.com/apple/ml - mobileclip/blob/main/LICENSE_weights_data)。