Xclip Base Patch16 Kinetics 600

🚀 X-CLIP (ベースサイズのモデル)

X-CLIPは、Kinetics-600で完全教師付き学習されたモデル（ベースサイズ、パッチ解像度16）です。このモデルは、Niらによる論文Expanding Language-Image Pretrained Models for General Video Recognitionで紹介され、このリポジトリで最初に公開されました。

このモデルは、動画1つあたり8フレームを使用し、解像度224x224で学習されています。

免責事項：X-CLIPを公開したチームはこのモデルのモデルカードを作成していないため、このモデルカードはHugging Faceチームによって作成されています。

✨ 主な機能

X-CLIPは、一般的な動画と言語の理解のためにCLIPを最小限拡張したモデルです。このモデルは、（動画、テキスト）のペアで対照的に学習されています。

これにより、このモデルはゼロショット、フューショット、または完全教師付きの動画分類や動画-テキスト検索などのタスクに使用できます。

📚 ドキュメント

想定される用途と制限

生のモデルを使用して、与えられた動画とテキストの適合度を判断することができます。関心のあるタスクでファインチューニングされたバージョンを探すには、モデルハブを参照してください。

使い方

コード例については、ドキュメントを参照してください。

学習データ

このモデルは、Kinetics-600で学習されています。

前処理

学習時の前処理の詳細は、こちらで確認できます。 検証時の前処理の詳細は、こちらで確認できます。 検証時には、各フレームの短辺をリサイズした後、固定サイズの解像度（例：224x224）にセンタークロップを行います。次に、フレームをImageNetの平均と標準偏差でRGBチャンネル全体で正規化します。

評価結果

このモデルは、トップ1精度85.3％、トップ5精度97.1％を達成しています。

📄 ライセンス

このモデルはMITライセンスの下で公開されています。

モデル情報