Metaclip B32 400m

🚀 MetaCLIPモデル、ベースサイズ版、パッチ解像度32

MetaCLIPモデルは、CommonCrawl (CC) の4億個のデータポイントに適用されます。このモデルは、Xuらによる論文 Demystifying CLIP Data で紹介され、このリポジトリ で最初に公開されました。

免責事項：MetaCLIPを公開したチームはこのモデルのモデルカードを作成していないため、このモデルカードはHugging Faceチームによって作成されました。

✨ 主な機能

MetaCLIPモデルは、画像とテキストを共有埋め込み空間で関連付けることができます。これにより、ゼロショット画像分類、テキストベースの画像検索、画像ベースのテキスト検索などの機能が可能になります。

📚 ドキュメント

モデルの説明

論文 Demystifying CLIP Data は、CLIPのトレーニングデータキュレーション方法を明らかにすることを目的としています。OpenAIは、彼らのデータ準備パイプラインに関するコードをオープンソース化していません。

CLIPの概要。CLIP論文 から引用。

想定される用途と制限

生のモデルを使用して、画像とテキストを共有埋め込み空間で関連付けることができます。これにより、ゼロショット画像分類、テキストベースの画像検索、画像ベースのテキスト検索などが可能になります。

使い方

ドキュメント を参照してください。ハブ上のモデル名を置き換えるだけです。

BibTeXエントリと引用情報

@misc{xu2023demystifying,
      title={Demystifying CLIP Data}, 
      author={Hu Xu and Saining Xie and Xiaoqing Ellen Tan and Po-Yao Huang and Russell Howes and Vasu Sharma and Shang-Wen Li and Gargi Ghosh and Luke Zettlemoyer and Christoph Feichtenhofer},
      year={2023},
      eprint={2309.16671},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

📄 ライセンス

このモデルは、CC BY-NC 4.0ライセンスの下で提供されています。