Mobileclip B OpenCLIP

🚀 MobileCLIP: マルチモーダル強化学習による高速画像テキストモデル

MobileCLIPは、Pavan Kumar Anasosalu Vasu、Hadi Pouransari、Fartash Faghri、Raviteja Vemulapalli、Oncel Tuzelによる論文 MobileCLIP: Fast Image-Text Models through Multi-Modal Reinforced Training (CVPR 2024) で紹介されたモデルです。

このリポジトリには、OpenCLIP用の MobileCLIP-B チェックポイントが含まれています。

🚀 クイックスタート

このリポジトリでは、OpenCLIP用のMobileCLIP-Bチェックポイントを提供しています。

✨ 主な機能

• 最小バリアントの MobileCLIP-S0 は、OpenAI のViT-B/16モデルと同等のゼロショット性能を達成しながら、4.8倍高速で2.8倍小さいモデルサイズとなっています。
• MobileCLIP-S2 は、SigLIP のViT-B/16モデルよりも優れた平均ゼロショット性能を達成し、2.3倍高速で2.1倍小さいモデルサイズで、学習に使用するサンプル数は3分の1です。
• MobileCLIP-B(LT) は、ゼロショットImageNet性能で 77.2% を達成しており、DFN や SigLIP などの最近の研究や、OpenAI's ViT-L/14@336 よりも大幅に優れた性能を示しています。

📚 ドキュメント

チェックポイント

📄 ライセンス

このプロジェクトは、apple-amlr ライセンスの下で提供されています。