Xclip Base Patch16 Hmdb 4 Shot

🚀 X-CLIP (ベースサイズのモデル)

X-CLIPモデル（ベースサイズ、パッチ解像度16）は、HMDB-51 データセットでfew-shot学習（K=4）を行って訓練されました。このモデルは、Niらによる論文 Expanding Language-Image Pretrained Models for General Video Recognition で紹介され、このリポジトリ で最初に公開されました。

このモデルは、1つのビデオにつき32フレームを使用し、解像度224x224で訓練されています。

免責事項：X-CLIPを公開したチームはこのモデルのモデルカードを作成していないため、このモデルカードはHugging Faceチームによって作成されています。

🚀 クイックスタート

このモデルは、与えられたビデオとテキストの適合度を判断するために使用できます。興味のあるタスクで微調整されたバージョンを探すには、モデルハブ を参照してください。

✨ 主な機能

X-CLIPは、一般的なビデオと言語の理解のために CLIP を最小限に拡張したモデルです。このモデルは、（ビデオ、テキスト）のペアで対照的に訓練されています。

これにより、このモデルはゼロショット、フューショット、または完全教師ありのビデオ分類やビデオテキスト検索などのタスクに使用できます。

📚 ドキュメント

使用方法

コード例については、ドキュメント を参照してください。

訓練データ

このモデルは、HMDB-51 データセットで訓練されています。

前処理

訓練時の前処理の詳細は、ここ で確認できます。 検証時の前処理の詳細は、ここ で確認できます。

検証時には、各フレームの短い辺をリサイズした後、固定サイズの解像度（例：224x224）にセンタークロップを行います。次に、フレームはImageNetの平均と標準偏差を使用してRGBチャネル全体で正規化されます。

評価結果

このモデルは、トップ1精度57.3%を達成しています。

📄 ライセンス

このモデルはMITライセンスの下で提供されています。