Timesformer Hr Finetuned Ssv2

🚀 TimeSformer (高解像度バリアント、Something Something v2でファインチューニング済み)

TimeSformerモデルは、Something Something v2で事前学習されています。このモデルは、Tongらによる論文TimeSformer: Is Space-Time Attention All You Need for Video Understanding?で紹介され、最初はthis repositoryで公開されました。

免責事項: TimeSformerを公開したチームはこのモデルのモデルカードを作成していないため、このモデルカードはfcakyonによって作成されました。

🚀 クイックスタート

TimeSformerモデルは、Something Something v2で事前学習され、動画分類タスクに使用できます。

✨ 主な機能

• 174種類のSomething Something v2ラベルへの動画分類が可能です。

📦 インストール

このセクションでは、インストールに関する具体的なコマンドが原READMEに記載されていないため、省略します。

💻 使用例

基本的な使用法

以下は、このモデルを使用して動画を分類する方法の例です。

from transformers import AutoImageProcessor, TimesformerForVideoClassification
import numpy as np
import torch

video = list(np.random.randn(16, 3, 448, 448))

processor = AutoImageProcessor.from_pretrained("facebook/timesformer-hr-finetuned-ssv2")
model = TimesformerForVideoClassification.from_pretrained("facebook/timesformer-hr-finetuned-ssv2")

inputs = feature_extractor(images=video, return_tensors="pt")

with torch.no_grad():
  outputs = model(**inputs)
  logits = outputs.logits

predicted_class_idx = logits.argmax(-1).item()
print("Predicted class:", model.config.id2label[predicted_class_idx])

より多くのコード例については、ドキュメントを参照してください。

📚 ドキュメント

想定される用途と制限

生モデルを使用して、174種類のSomething Something v2ラベルのいずれかに動画を分類することができます。

BibTeXエントリと引用情報

@inproceedings{bertasius2021space,
  title={Is Space-Time Attention All You Need for Video Understanding?},
  author={Bertasius, Gedas and Wang, Heng and Torresani, Lorenzo},
  booktitle={International Conference on Machine Learning},
  pages={813--824},
  year={2021},
  organization={PMLR}
}

📄 ライセンス

このモデルは、CC BY-NC 4.0ライセンスの下で提供されています。