Xclip Base Patch16 Ucf 4 Shot

🚀 X-CLIP (ベースサイズのモデル)

X-CLIPモデル（ベースサイズ、パッチ解像度16）は、UCF101 データセットで少数ショット学習（K = 4）を行って訓練されました。このモデルは、Niらによる論文 Expanding Language-Image Pretrained Models for General Video Recognition で紹介され、最初は このリポジトリ で公開されました。

このモデルは、各ビデオにつき32フレームを使用し、解像度224x224で訓練されています。

免責事項：X-CLIPを公開したチームはこのモデルについてモデルカードを作成していないため、このモデルカードはHugging Faceチームによって作成されました。

✨ 主な機能

X-CLIPは、一般的なビデオと言語の理解のために CLIP を最小限に拡張したモデルです。このモデルは、（ビデオ、テキスト）のペアに対して対照的な方法で訓練されています。

これにより、このモデルはゼロショット、フューショット、または完全教師付きのビデオ分類やビデオ - テキスト検索などのタスクに使用できます。

🚀 クイックスタート

この生のモデルを使用して、与えられたビデオとテキストの適合度を判断することができます。関心のあるタスクで微調整されたバージョンを探すには、モデルハブ を参照してください。

使い方

コード例については、ドキュメント を参照してください。

📦 インストール

このREADMEにはインストール手順が記載されていないため、このセクションは省略されます。

📚 ドキュメント

訓練データ

このモデルは UCF101 データセットで訓練されています。

前処理

訓練時の前処理の詳細は こちら で確認できます。 検証時の前処理の詳細は こちら で確認できます。

検証時には、各フレームの短辺をリサイズした後、中央切り抜きを行って固定サイズの解像度（例：224x224）に調整します。次に、フレームをImageNetの平均と標準偏差を用いてRGBチャンネル全体で正規化します。

評価結果

このモデルは、トップ1精度83.4%を達成しています。

📄 ライセンス

このモデルはMITライセンスの下で公開されています。