Timesformer Base Finetuned K400

🚀 TimeSformer (ベースサイズのモデル、Kinetics-400でファインチューニング済み)

TimeSformerモデルは、Kinetics-400で事前学習されています。このモデルは、Tongらによる論文 TimeSformer: Is Space-Time Attention All You Need for Video Understanding? で紹介され、最初は このリポジトリ で公開されました。

免責事項: TimeSformerを公開したチームはこのモデルのモデルカードを作成していないため、このモデルカードは fcakyon によって作成されています。

🚀 クイックスタート

このモデルは、動画分類タスクに使用できます。具体的には、400種類のKinetics-400ラベルのいずれかに動画を分類することが可能です。

✨ 主な機能

• 事前学習済みのTimeSformerモデルを使用して、Kinetics-400データセットに対する動画分類を行えます。
• Hugging FaceのTransformersライブラリと互換性があり、簡単に使用できます。

📦 インストール

このモデルを使用するには、transformers ライブラリが必要です。以下のコマンドでインストールできます。

pip install transformers

💻 使用例

基本的な使用法

from transformers import AutoImageProcessor, TimesformerForVideoClassification
import numpy as np
import torch

video = list(np.random.randn(8, 3, 224, 224))

processor = AutoImageProcessor.from_pretrained("fcakyon/timesformer-base-finetuned-k400")
model = TimesformerForVideoClassification.from_pretrained("fcakyon/timesformer-base-finetuned-k400")

inputs = processor(video, return_tensors="pt")

with torch.no_grad():
  outputs = model(**inputs)
  logits = outputs.logits

predicted_class_idx = logits.argmax(-1).item()
print("Predicted class:", model.config.id2label[predicted_class_idx])

高度な使用法

より詳細なコード例については、ドキュメント を参照してください。

📚 ドキュメント

このモデルの詳細なドキュメントは、こちら を参照してください。

📄 ライセンス

このモデルは、CC BY-NC 4.0ライセンスの下で公開されています。

BibTeXエントリと引用情報

@inproceedings{bertasius2021space,
  title={Is Space-Time Attention All You Need for Video Understanding?},
  author={Bertasius, Gedas and Wang, Heng and Torresani, Lorenzo},
  booktitle={International Conference on Machine Learning},
  pages={813--824},
  year={2021},
  organization={PMLR}
}