Mobileclip S2 Timm

🚀 MobileCLIP: マルチモーダル強化学習による高速画像テキストモデル

MobileCLIPは、Pavan Kumar Anasosalu Vasu、Hadi Pouransari、Fartash Faghri、Raviteja Vemulapalli、Oncel TuzelによるMobileCLIP: Fast Image-Text Models through Multi-Modal Reinforced Training (CVPR 2024)で紹介されました。

このリポジトリには、timm用のMobileCLIP-S2チェックポイントが含まれています。

✨ 主な機能

• 最小のバリアントMobileCLIP-S0は、OpenAIのViT - B/16モデルと同等のゼロショット性能を達成しながら、4.8倍高速で2.8倍小さいモデルです。
• MobileCLIP-S2は、SigLIPのViT - B/16モデルよりも優れた平均ゼロショット性能を達成し、2.3倍高速で2.1倍小さく、学習に使用するサンプル数は3分の1です。
• MobileCLIP-B(LT)は、ゼロショットImageNet性能が**77.2%**に達し、DFNやSigLIPなどの最近の研究や、OpenAI's ViT - L/14@336と同等のアーキテクチャのモデルよりも大幅に優れています。

📚 ドキュメント

チェックポイント

📄 ライセンス

このプロジェクトは、apple-amlrライセンスの下で公開されています。