Xclip Base Patch32 16 Frames

🚀 X-CLIP (基本サイズのモデル)

X-CLIPモデル（基本サイズ、パッチ解像度32）は、Kinetics-400で完全教師付き学習されました。このモデルは、Niらによる論文Expanding Language-Image Pretrained Models for General Video Recognitionで紹介され、最初はthis repositoryで公開されました。

このモデルは、各ビデオにつき16フレームを使用し、解像度224x224で学習されました。

免責事項: X-CLIPを公開したチームはこのモデルのモデルカードを作成していないため、このモデルカードはHugging Faceチームによって作成されています。

✨ 主な機能

モデルの説明

X-CLIPは、一般的なビデオと言語の理解のために、CLIPを最小限拡張したモデルです。このモデルは、（ビデオ、テキスト）のペアに対して対照的な方法で学習されています。

これにより、このモデルはゼロショット、フューショット、または完全教師付きのビデオ分類やビデオ - テキスト検索などのタスクに使用できます。

想定される用途と制限

生のモデルを使用して、与えられたビデオとテキストの適合度を判断できます。関心のあるタスクで微調整されたバージョンを探すには、モデルハブを参照してください。

使い方

コード例については、ドキュメントを参照してください。

📚 詳細ドキュメント

学習データ

このモデルは、Kinetics-400で学習されました。

前処理

学習中の前処理の正確な詳細は、こちらで確認できます。 検証中の前処理の正確な詳細は、こちらで確認できます。 検証中は、各フレームの短い辺をリサイズした後、固定サイズの解像度（例：224x224）に中央切り抜きを行います。次に、フレームはImageNetの平均と標準偏差を使用してRGBチャンネル全体で正規化されます。

評価結果

このモデルは、トップ1精度81.1％、トップ5精度95.5％を達成しています。

📄 ライセンス

このモデルはMITライセンスの下で提供されています。