Mobileclip S2 OpenCLIP

🚀 MobileCLIP: マルチモーダル強化学習による高速画像テキストモデル

MobileCLIPは、Pavan Kumar Anasosalu Vasu、Hadi Pouransari、Fartash Faghri、Raviteja Vemulapalli、Oncel Tuzelによる MobileCLIP: Fast Image-Text Models through Multi-Modal Reinforced Training (CVPR 2024) で紹介されたモデルです。

このリポジトリには、OpenCLIP用の MobileCLIP-S2 チェックポイントが含まれています。

✨ 主な機能

• 最小バリアントの MobileCLIP-S0 は、OpenAI のViT-B/16モデルと同等のゼロショット性能を達成しながら、4.8倍高速で2.8倍小さいモデルサイズを実現しています。
• MobileCLIP-S2 は、SigLIP のViT-B/16モデルよりも優れた平均ゼロショット性能を持ち、2.3倍高速で2.1倍小さいモデルサイズで、3分の1のサンプル数で学習されています。
• MobileCLIP-B(LT) は、ゼロショットImageNet性能で 77.2% を達成しており、DFN や SigLIP などの最近の研究や、OpenAI's ViT-L/14@336 よりも大幅に優れた性能を示しています。

📚 詳細ドキュメント

チェックポイント

📄 ライセンス

このモデルは apple-amlr ライセンスの下で提供されています。