Metaclip H14 Fullcc2.5b

🚀 MetaCLIPモデル、巨大サイズ版、パッチ解像度14

MetaCLIPモデルは、CommonCrawl (CC) の25億のデータポイントに適用されています。このモデルは、Xuらによる論文 Demystifying CLIP Data で紹介され、最初は このリポジトリ で公開されました。

免責事項: MetaCLIPを公開したチームはこのモデルのモデルカードを作成していないため、このモデルカードはHugging Faceチームによって作成されました。

🚀 クイックスタート

MetaCLIPモデルは、画像とテキストを共有埋め込み空間で関連付けるために使用できます。これにより、ゼロショット画像分類、テキストベースの画像検索、画像ベースのテキスト検索などのことが可能になります。使用方法については、ドキュメント を参照してください。ハブ上のモデル名を置き換えるだけです。

✨ 主な機能

• 画像とテキストを共有埋め込み空間で関連付けることができます。
• ゼロショット画像分類、テキストベースの画像検索、画像ベースのテキスト検索などのタスクに使用できます。

📚 ドキュメント

モデルの説明

Demystifying CLIP Data 論文は、CLIPのトレーニングデータキュレーション方法を明らかにすることを目的としています。OpenAIは、彼らのデータ準備パイプラインに関するコードをオープンソース化していません。

CLIPの概要。CLIP論文 から引用。

想定される用途と制限

生のモデルを使用して、画像とテキストを共有埋め込み空間で関連付けることができます。これにより、ゼロショット画像分類、テキストベースの画像検索、画像ベースのテキスト検索などが可能になります。

使用方法

ドキュメント を参照してください。ハブ上のモデル名を置き換えるだけです。

BibTeXエントリと引用情報

@misc{xu2023demystifying,
      title={Demystifying CLIP Data}, 
      author={Hu Xu and Saining Xie and Xiaoqing Ellen Tan and Po-Yao Huang and Russell Howes and Vasu Sharma and Shang-Wen Li and Gargi Ghosh and Luke Zettlemoyer and Christoph Feichtenhofer},
      year={2023},
      eprint={2309.16671},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

📄 ライセンス

このモデルは、CC BY-NC 4.0ライセンスの下で提供されています。