Xclip Base Patch16 16 Frames

🚀 X-CLIP (ベースサイズのモデル)

X-CLIPモデル（ベースサイズ、パッチ解像度16）は、Kinetics-400 で完全教師付き学習されました。このモデルは、Niらによる論文 Expanding Language-Image Pretrained Models for General Video Recognition で紹介され、最初は このリポジトリ で公開されました。

このモデルは、各ビデオにつき16フレームを使用し、解像度224x224で学習されています。

免責事項: X-CLIPを公開したチームはこのモデルのモデルカードを作成していないため、このモデルカードはHugging Faceチームによって作成されました。

🚀 クイックスタート

X-CLIPモデルは、ビデオとテキストの関連性を学習することで、ビデオ分類やビデオテキスト検索などのタスクに利用できます。

✨ 主な機能

• 一般的なビデオ言語理解のためのCLIPの拡張モデルです。
• ゼロショット、フューショット、または完全教師付きのビデオ分類やビデオテキスト検索に使用できます。

📚 ドキュメント

モデルの説明

X-CLIPは、一般的なビデオ言語理解のための CLIP の最小限の拡張です。このモデルは、（ビデオ、テキスト）のペアに対して対照的に学習されます。

これにより、このモデルはゼロショット、フューショット、または完全教師付きのビデオ分類やビデオテキスト検索などのタスクに使用できます。

想定される用途と制限

与えられたビデオとテキストの適合度を判断するために、生のモデルを使用することができます。関心のあるタスクに関する微調整済みバージョンを探すには、モデルハブ を参照してください。

使用方法

コード例については、ドキュメント を参照してください。

学習データ

このモデルは Kinetics-400 で学習されています。

前処理

学習時の前処理の正確な詳細は ここ で確認できます。 検証時の前処理の正確な詳細は ここ で確認できます。

検証時には、各フレームの短い辺をリサイズした後、固定サイズの解像度（例：224x224）に中央クロッピングを行います。次に、フレームはImageNetの平均と標準偏差を用いてRGBチャネル全体で正規化されます。

評価結果

このモデルは、トップ1精度84.7％、トップ5精度96.8％を達成しています。

モデルの指標

📄 ライセンス

このモデルはMITライセンスの下で公開されています。