Metaclip B16 400m

🚀 MetaCLIPモデル、ベースサイズ版、パッチ解像度16

MetaCLIPモデルはCommonCrawl（CC）の4億のデータポイントに適用されます。このモデルは、Xuらによる論文 Demystifying CLIP Data で紹介され、このリポジトリ で最初に公開されました。

免責事項：MetaCLIPを公開したチームはこのモデルのモデルカードを作成していないため、このモデルカードはHugging Faceチームによって作成されました。

✨ 主な機能

MetaCLIPモデルは、画像とテキストを共有埋め込み空間で関連付けることができ、ゼロショット画像分類やテキストベースの画像検索、画像ベースのテキスト検索などの機能を可能にします。

📚 ドキュメント

モデルの説明

論文 Demystifying CLIP Data は、CLIPのトレーニングデータの選別方法を明らかにすることを目的としています。OpenAIは、彼らのデータ準備パイプラインに関するコードをオープンソース化していません。

CLIPの概要。CLIP論文 より引用。

想定用途と制限

生モデルを使用して、共有埋め込み空間で画像とテキストを関連付けることができます。これにより、ゼロショット画像分類、テキストベースの画像検索、画像ベースのテキスト検索などが可能になります。

使い方

ドキュメント を参照してください。ハブ上のモデル名を置き換えるだけです。

BibTeXエントリと引用情報

@misc{xu2023demystifying,
      title={Demystifying CLIP Data}, 
      author={Hu Xu and Saining Xie and Xiaoqing Ellen Tan and Po-Yao Huang and Russell Howes and Vasu Sharma and Shang-Wen Li and Gargi Ghosh and Luke Zettlemoyer and Christoph Feichtenhofer},
      year={2023},
      eprint={2309.16671},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

📄 ライセンス

このモデルはCC BY-NC 4.0ライセンスの下で提供されています。