Xclip Base Patch16 Hmdb 2 Shot

🚀 X-CLIP (ベースサイズのモデル)

X-CLIPは、HMDB-51 データセットで少ないサンプル数（K = 2）で学習されたモデル（ベースサイズ、パッチ解像度16）です。このモデルは、Niらによる論文 Expanding Language-Image Pretrained Models for General Video Recognition で紹介され、最初は このリポジトリ で公開されました。

このモデルは、各ビデオにつき32フレームを使用し、解像度224x224で学習されています。

免責事項: X-CLIPを公開したチームはこのモデルのモデルカードを作成していないため、このモデルカードはHugging Faceチームによって作成されています。

✨ 主な機能

X-CLIPは、一般的なビデオと言語の理解のために CLIP を最小限に拡張したモデルです。このモデルは、（ビデオ、テキスト）のペアで対照的に学習されています。

これにより、このモデルはゼロショット、フューショット、または完全教師付きのビデオ分類やビデオ - テキスト検索などのタスクに使用できます。

🚀 クイックスタート

このモデルは、与えられたビデオとテキストの適合度を判断するために使用できます。関心のあるタスクで微調整されたバージョンを探すには、モデルハブ を参照してください。

💻 使用例

コード例については、ドキュメント を参照してください。

📦 インストール

READMEに具体的なインストール手順が記載されていないため、このセクションは省略されます。

📚 ドキュメント

学習データ

このモデルは HMDB-51 データセットで学習されています。

前処理

学習時の前処理の詳細は こちら で確認できます。

検証時の前処理の詳細は こちら で確認できます。

検証時には、各フレームの短い辺をリサイズした後、固定サイズの解像度（例：224x224）に中央切り抜きを行います。次に、フレームはImageNetの平均と標準偏差を使用してRGBチャンネル全体で正規化されます。

評価結果

このモデルは、トップ1精度53.0%を達成しています。

🔧 技術詳細

このモデルは、X-CLIPのベースサイズバージョンで、パッチ解像度が16です。CLIPを拡張してビデオと言語の理解を強化しています。学習には32フレームのビデオを使用し、解像度は224x224です。対照学習により、ビデオとテキストの関係を学習しています。

📄 ライセンス

このモデルはMITライセンスの下で公開されています。