Mobileclip S1 OpenCLIP

🚀 MobileCLIP: マルチモーダル強化学習による高速画像テキストモデル

MobileCLIPは、Pavan Kumar Anasosalu Vasu、Hadi Pouransari、Fartash Faghri、Raviteja Vemulapalli、Oncel TuzelによるMobileCLIP: Fast Image-Text Models through Multi-Modal Reinforced Training (CVPR 2024)で紹介されたモデルです。

このリポジトリには、OpenCLIP用のMobileCLIP-S1チェックポイントが含まれています。

✨ 主な機能

• 最小のバリアントであるMobileCLIP-S0は、OpenAIのViT-B/16モデルと同等のゼロショット性能を達成しながら、4.8倍高速で2.8倍小さいモデルサイズを実現しています。
• MobileCLIP-S2は、SigLIPのViT-B/16モデルよりも優れた平均ゼロショット性能を達成し、2.3倍高速で2.1倍小さいモデルサイズで、3分の1のサンプル数で学習されています。
• MobileCLIP-B(LT)は、ゼロショットImageNet性能が77.2% を達成しており、DFNやSigLIPなどの最近の研究や、OpenAIのViT-L/14@336よりも大幅に優れています。

📚 詳細ドキュメント

チェックポイント

📄 ライセンス

このプロジェクトは、apple-amlrライセンスの下で公開されています。