Xclip Base Patch16 Zero Shot

🚀 X-CLIP (ベースサイズのモデル)

X-CLIPは、Kinetics-400で学習されたモデル（ベースサイズ、パッチ解像度16）です。このモデルは、Niらによる論文Expanding Language-Image Pretrained Models for General Video Recognitionで紹介され、最初はthis repositoryで公開されました。

このモデルは、1つのビデオにつき32フレームを使用し、解像度224x224で学習されています。

免責事項: X-CLIPを公開したチームはこのモデルのモデルカードを作成していないため、このモデルカードはHugging Faceチームによって作成されました。

✨ 主な機能

モデルの説明

X-CLIPは、一般的なビデオと言語の理解のために、CLIPを最小限拡張したモデルです。このモデルは、(ビデオ、テキスト)のペアに対して対照的な方法で学習されています。

これにより、このモデルはゼロショット、フューショット、または完全教師付きのビデオ分類やビデオ - テキスト検索などのタスクに使用できます。

想定される用途と制限

生のモデルを使用して、与えられたビデオとテキストの適合度を判断することができます。関心のあるタスクに関する微調整済みのバージョンを探すには、モデルハブを参照してください。

使用方法

コード例については、ドキュメントを参照してください。

📦 インストール

READMEに具体的なインストール手順が記載されていないため、このセクションは省略されます。

📚 ドキュメント

学習データ

このモデルは、Kinetics 400で学習されています。

前処理

学習時の前処理の詳細は、こちらに記載されています。 検証時の前処理の詳細は、こちらに記載されています。

検証時には、各フレームの短い方の辺をリサイズした後、固定サイズの解像度（例えば224x224）に中央切り抜きを行います。次に、フレームはImageNetの平均と標準偏差を使用してRGBチャンネル全体で正規化されます。

評価結果

このモデルは、HMDB - 51でゼロショットのトップ1精度が44.6%、UCF - 101で72.0%、Kinetics - 600で65.2%を達成しています。

モデル情報

📄 ライセンス

このモデルはMITライセンスの下で公開されています。