Xclip Large Patch14 16 Frames

🚀 X-CLIP (大型モデル)

X-CLIPは、Kinetics-400 データセットを用いて完全教師付き学習で訓練された大型モデル（パッチ解像度14）です。このモデルは、Niらによる論文 Expanding Language-Image Pretrained Models for General Video Recognition で紹介され、このリポジトリ で最初に公開されました。

このモデルは、各ビデオにつき16フレームを用いて、解像度336x336で訓練されています。

免責事項：X-CLIPを公開したチームはこのモデルについてモデルカードを作成していないため、このモデルカードはHugging Faceチームによって作成されています。

✨ 主な機能

モデルの説明

X-CLIPは、一般的なビデオと言語の理解のために CLIP を最小限拡張したモデルです。このモデルは、（ビデオ、テキスト）のペアに対して対照的な方法で訓練されています。

これにより、このモデルはゼロショット、フューショット、または完全教師付きのビデオ分類やビデオ - テキスト検索などのタスクに使用できます。

想定される用途と制限

生のモデルを使用して、与えられたビデオとテキストの適合度を判断することができます。関心のあるタスクに関する微調整済みのバージョンを探すには、モデルハブ を参照してください。

使い方

コード例については、ドキュメント を参照してください。

📦 インストール

原文書にインストール手順に関する内容がありません。

📚 ドキュメント

訓練データ

このモデルは Kinetics-400 データセットを用いて訓練されています。

前処理

訓練時の前処理の詳細は こちら で確認できます。 検証時の前処理の詳細は こちら で確認できます。

検証時には、各フレームの短辺をリサイズした後、中央切り抜きを行って固定サイズの解像度（例：224x224）に変換します。次に、フレームをImageNetの平均と標準偏差を用いてRGBチャンネル全体で正規化します。

評価結果

このモデルは、トップ1精度87.7%、トップ5精度97.4%を達成しています。

📄 ライセンス

このモデルはMITライセンスの下で公開されています。

モデル情報