Xclip Base Patch16 Hmdb 16 Shot

🚀 X-CLIP (ベースサイズのモデル)

X-CLIPモデル（ベースサイズ、パッチ解像度16）は、HMDB - 51 データセットで少サンプル学習（K = 16）を行って訓練されました。このモデルは、Niらによる論文 Expanding Language - Image Pretrained Models for General Video Recognition で紹介され、最初は [このリポジトリ](https://github.com/microsoft/VideoX/tree/master/X - CLIP) で公開されました。

このモデルは、1動画あたり32フレームを使用し、解像度224x224で訓練されています。

免責事項：X - CLIPを公開したチームはこのモデルのモデルカードを作成していないため、このモデルカードはHugging Faceチームによって作成されました。

✨ 主な機能

X - CLIPは、一般的なビデオ言語理解のために CLIP を最小限拡張したモデルです。このモデルは、（ビデオ、テキスト）ペアに対して対照的な方法で訓練されています。

これにより、このモデルはゼロショット、フューショット、または完全教師ありのビデオ分類やビデオテキスト検索などのタスクに使用できます。

🚀 クイックスタート

生のモデルを使用して、与えられたビデオとテキストの適合度を判断することができます。関心のあるタスクで微調整されたバージョンを探すには、モデルハブ を参照してください。

💻 使用例

コード例については、ドキュメント を参照してください。

📚 ドキュメント

訓練データ

このモデルは HMDB - 51 データセットで訓練されています。

前処理

訓練時の前処理の詳細は [ここ](https://github.com/microsoft/VideoX/blob/40f6d177e0a057a50ac69ac1de6b5938fd268601/X - CLIP/datasets/build.py#L247) で確認できます。 検証時の前処理の詳細は [ここ](https://github.com/microsoft/VideoX/blob/40f6d177e0a057a50ac69ac1de6b5938fd268601/X - CLIP/datasets/build.py#L285) で確認できます。 検証時には、各フレームの短辺をリサイズした後、中央切り抜きを行って固定サイズの解像度（例：224x224）にします。次に、フレームをImageNetの平均と標準偏差でRGBチャンネル全体に正規化します。

評価結果

このモデルは、トップ1精度64.0%を達成しています。

📄 ライセンス

このモデルはMITライセンスの下で提供されています。