Xclip Base Patch16 Kinetics 600 16 Frames

🚀 X-CLIP (ベースサイズのモデル)

X-CLIPは、Kinetics-600 で完全教師付き学習されたモデル（ベースサイズ、パッチ解像度16）です。このモデルは、Niらによる論文 Expanding Language-Image Pretrained Models for General Video Recognition で紹介され、最初は このリポジトリ で公開されました。

このモデルは、各ビデオにつき16フレームを使用し、解像度224x224で学習されています。

免責事項: X-CLIPを公開したチームはこのモデルのモデルカードを作成していないため、このモデルカードはHugging Faceチームによって作成されました。

🚀 クイックスタート

X-CLIPは、一般的なビデオ言語理解のために CLIP を最小限に拡張したモデルです。このモデルは、（ビデオ、テキスト）のペアに対して対照的な方法で学習されています。

これにより、このモデルはゼロショット、フューショット、または完全教師付きのビデオ分類やビデオテキスト検索などのタスクに使用できます。

✨ 主な機能

• ビデオとテキストのペアを用いた対照的学習により、ビデオとテキストの関連性を理解できます。
• ゼロショット、フューショット、完全教師付きのビデオ分類やビデオテキスト検索などのタスクに適用可能です。

📚 ドキュメント

想定される用途と制限

生のモデルを使用して、与えられたビデオとテキストの適合度を判断することができます。興味のあるタスクに関するファインチューニング済みのバージョンを探すには、モデルハブ を参照してください。

使い方

コード例については、ドキュメント を参照してください。

学習データ

このモデルは、Kinetics-600 で学習されています。

前処理

学習時の前処理の詳細は こちら で確認できます。 検証時の前処理の詳細は こちら で確認できます。

検証時には、各フレームの短辺をリサイズした後、固定サイズの解像度（例えば224x224）にセンタークロップを行います。次に、フレームをImageNetの平均と標準偏差でRGBチャンネル全体に正規化します。

評価結果

このモデルは、トップ1精度が85.8%、トップ5精度が97.3%を達成しています。

📄 ライセンス

このモデルはMITライセンスの下で公開されています。