Mobileclip B LT OpenCLIP

🚀 MobileCLIP: マルチモーダル強化学習による高速画像テキストモデル

MobileCLIPは、Pavan Kumar Anasosalu Vasu、Hadi Pouransari、Fartash Faghri、Raviteja Vemulapalli、Oncel Tuzelによる論文 MobileCLIP: Fast Image-Text Models through Multi-Modal Reinforced Training (CVPR 2024) で紹介されたモデルです。

このリポジトリには、OpenCLIP用の MobileCLIP-B (LT) チェックポイントが含まれています。

✨ 主な機能

• 最小バリアントの MobileCLIP-S0 は、OpenAI のViT-B/16モデルと同等のゼロショット性能を達成しながら、4.8倍高速で2.8倍小さいモデルです。
• MobileCLIP-S2 は、SigLIP のViT-B/16モデルよりも優れた平均ゼロショット性能を達成し、2.3倍高速で2.1倍小さく、学習に使用するサンプル数は3分の1です。
• MobileCLIP-B(LT) は、ゼロショットImageNet性能が 77.2% と、DFN や SigLIP などの最近の研究や、OpenAI's ViT-L/14@336 よりも大幅に優れています。

📚 ドキュメント

チェックポイント

📄 ライセンス

このプロジェクトは apple-amlr ライセンスの下で提供されています。詳細については、ライセンス情報 を参照してください。