Xclip Base Patch16 Ucf 2 Shot

🚀 X-CLIP (ベースサイズのモデル)

X-CLIPは、UCF101データセットで少ショット学習（K = 2）を行ったモデル（ベースサイズ、パッチ解像度16）です。このモデルは、Niらによる論文Expanding Language-Image Pretrained Models for General Video Recognitionで紹介され、このリポジトリで最初に公開されました。

このモデルは、各ビデオにつき32フレームを使用し、解像度224x224で学習されています。

免責事項：X-CLIPを公開したチームはこのモデルのモデルカードを作成していないため、このモデルカードはHugging Faceチームによって作成されています。

✨ 主な機能

X-CLIPは、一般的なビデオ言語理解のためにCLIPを最小限拡張したモデルです。このモデルは、（ビデオ、テキスト）のペアに対して対照的な方法で学習されています。

これにより、このモデルはゼロショット、フューショット、または完全教師付きのビデオ分類やビデオテキスト検索などのタスクに使用できます。

🚀 クイックスタート

生のモデルを使用して、与えられたビデオとテキストの適合度を判断することができます。関心のあるタスクでファインチューニングされたバージョンを探すには、モデルハブを参照してください。

💻 使用例

コード例については、ドキュメントを参照してください。

📦 インストール

READMEにインストール手順が記載されていないため、このセクションは省略されます。

📚 ドキュメント

学習データ

このモデルは、UCF101データセットで学習されています。

前処理

学習時の前処理の正確な詳細は、ここで確認できます。 検証時の前処理の正確な詳細は、ここで確認できます。 検証時には、各フレームの短い方の辺をリサイズした後、固定サイズの解像度（例：224x224）に中央切り抜きを行います。次に、フレームはImageNetの平均と標準偏差を使用してRGBチャンネル全体で正規化されます。

評価結果

このモデルは、トップ1精度76.4％を達成しています。

🔧 技術詳細

READMEに技術的な詳細が十分に記載されていないため、このセクションは省略されます。

📄 ライセンス

このモデルはMITライセンスの下で提供されています。