Metaclip L14 400m

🚀 MetaCLIPモデル、大型バージョン、パッチ解像度14

MetaCLIPモデルは、CommonCrawl (CC) の4億のデータポイントに適用されています。このモデルは、Xuらによる論文 Demystifying CLIP Data で紹介され、最初は このリポジトリ で公開されました。

免責事項: MetaCLIPを公開したチームはこのモデルのモデルカードを作成していないため、このモデルカードはHugging Faceチームによって作成されました。

🚀 クイックスタート

MetaCLIPモデルは、画像とテキストを共有埋め込み空間で関連付けるために使用できます。これにより、ゼロショット画像分類、テキストベースの画像検索、画像ベースのテキスト検索などのことが可能になります。

📚 ドキュメント

モデルの説明

論文 Demystifying CLIP Data は、CLIPのトレーニングデータキュレーション方法を明らかにすることを目的としています。OpenAIは、彼らのデータ準備パイプラインに関するコードをオープンソース化していません。

CLIPの概要。CLIP論文 から引用。

想定される使用法と制限

生のモデルを使用して、共有埋め込み空間で画像とテキストを関連付けることができます。これにより、ゼロショット画像分類、テキストベースの画像検索、画像ベースのテキスト検索などが可能になります。

使い方

ドキュメント を参照してください。ハブ上のモデル名を置き換えるだけです。

BibTeXエントリと引用情報

@misc{xu2023demystifying,
      title={Demystifying CLIP Data}, 
      author={Hu Xu and Saining Xie and Xiaoqing Ellen Tan and Po-Yao Huang and Russell Howes and Vasu Sharma and Shang-Wen Li and Gargi Ghosh and Luke Zettlemoyer and Christoph Feichtenhofer},
      year={2023},
      eprint={2309.16671},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

📄 ライセンス

このモデルはCC BY-NC 4.0ライセンスの下で提供されています。