Mobileclip B OpenCLIP

🚀 MobileCLIP：通过多模态强化训练实现快速图像 - 文本模型

MobileCLIP旨在解决图像 - 文本模型在速度和性能上的平衡问题。它通过多模态强化训练，在保证模型性能的同时，显著提升了模型的运行速度和减小了模型体积，为图像 - 文本处理任务提供了高效的解决方案。

🚀 快速开始

本仓库包含适用于OpenCLIP的MobileCLIP - B检查点。

✨ 主要特性

• 高效性能：最小的变体MobileCLIP - S0在零样本性能上与OpenAI的ViT - B/16模型相近，但速度快4.8倍，体积小2.8倍。
• 卓越表现：MobileCLIP - S2的平均零样本性能优于SigLIP的ViT - B/16模型，速度快2.3倍，体积小2.1倍，且训练时所见样本少3倍。
• 高准确率：MobileCLIP - B(LT)在零样本ImageNet上的准确率达到77.2%，显著优于DFN、SigLIP等近期工作，甚至超过OpenAI的ViT - L/14@336。

📚 详细文档

论文信息

MobileCLIP由Pavan Kumar Anasosalu Vasu、Hadi Pouransari、Fartash Faghri、Raviteja Vemulapalli、Oncel Tuzel等人在论文MobileCLIP: Fast Image - Text Models through Multi - Modal Reinforced Training（CVPR 2024）中提出。

性能图示

检查点信息

📄 许可证

本项目采用apple - amlr许可证，详细信息请见许可证链接。