Mobileclip S0 Timm

🚀 MobileCLIP：通过多模态强化训练实现快速图像 - 文本模型

MobileCLIP旨在解决图像 - 文本模型在速度和效率方面的问题，通过多模态强化训练，在保证性能的同时显著提升了模型的运行速度并减小了模型体积，为相关领域的应用提供了更高效的解决方案。

🚀 快速开始

MobileCLIP由Pavan Kumar Anasosalu Vasu、Hadi Pouransari、Fartash Faghri、Raviteja Vemulapalli和Oncel Tuzel在论文 MobileCLIP: Fast Image - Text Models through Multi - Modal Reinforced Training （CVPR 2024）中提出。本仓库包含了与TIMM兼容的 MobileCLIP - S0 检查点。

✨ 主要特性

• 最小的变体 MobileCLIP - S0 与 OpenAI 的ViT - B/16模型相比，零样本性能相近，但速度快4.8倍，体积小2.8倍。
• MobileCLIP - S2 比 SigLIP 的ViT - B/16模型平均零样本性能更优，速度快2.3倍，体积小2.1倍，且训练时所见样本少3倍。
• MobileCLIP - B(LT) 在零样本ImageNet上的性能达到 77.2%，显著优于 DFN、SigLIP 等同架构的近期工作，甚至超过 OpenAI's ViT - L/14@336。

📚 详细文档

检查点

📄 许可证

本项目采用 [apple - amlr](https://github.com/apple/ml - mobileclip/blob/main/LICENSE_weights_data) 许可证。