Xclip Base Patch16 Hmdb 8 Shot

🚀 X-CLIP (ベースサイズのモデル)

X-CLIPは、HMDB - 51 データセットで少数ショット学習（K = 8）を用いて訓練されたモデル（ベースサイズ、パッチ解像度16）です。このモデルは、Niらによる論文 Expanding Language - Image Pretrained Models for General Video Recognition で紹介され、最初は [このリポジトリ](https://github.com/microsoft/VideoX/tree/master/X - CLIP) で公開されました。

このモデルは、各ビデオにつき32フレームを用い、解像度224x224で訓練されています。

免責事項：X - CLIPを公開したチームはこのモデルについてモデルカードを作成していないため、このモデルカードはHugging Faceチームによって作成されています。

✨ 主な機能

X - CLIPは、一般的なビデオと言語の理解のために CLIP を最小限拡張したモデルです。このモデルは、（ビデオ、テキスト）のペアに対して対照的な方法で訓練されています。

これにより、このモデルはゼロショット、少数ショット、または完全教師付きのビデオ分類やビデオ - テキスト検索などのタスクに使用できます。

🚀 クイックスタート

このモデルを使用することで、与えられたビデオとテキストの適合度を判断できます。関心のあるタスクについて微調整されたバージョンを探すには、モデルハブ を参照してください。

💻 使用例

コード例については、ドキュメント を参照してください。

📦 インストール

原文書にインストール手順に関する内容がありませんでしたので、このセクションを省略します。

📚 ドキュメント

訓練データ

このモデルは HMDB - 51 データセットで訓練されています。

前処理

訓練時の前処理の詳細は [こちら](https://github.com/microsoft/VideoX/blob/40f6d177e0a057a50ac69ac1de6b5938fd268601/X - CLIP/datasets/build.py#L247) を参照してください。

検証時の前処理の詳細は [こちら](https://github.com/microsoft/VideoX/blob/40f6d177e0a057a50ac69ac1de6b5938fd268601/X - CLIP/datasets/build.py#L285) を参照してください。

検証時には、各フレームの短辺をリサイズした後、固定サイズの解像度（例：224x224）にセンタークロップを行います。次に、フレームをImageNetの平均と標準偏差を用いてRGBチャンネル全体で正規化します。

評価結果

このモデルは、トップ1精度62.8%を達成しています。

🔧 技術詳細

原文書に技術的な実装詳細に関する内容が十分にありませんでしたので、このセクションを省略します。

📄 ライセンス

このモデルはMITライセンスの下で提供されています。