Timesformer Base Finetuned K400

🚀 TimeSformer（基礎大小模型，在Kinetics - 400上微調）

TimeSformer是一個在Kinetics - 400數據集上預訓練的模型。它由Tong等人在論文TimeSformer: Is Space - Time Attention All You Need for Video Understanding?中提出，並首次在此倉庫發佈。

免責聲明：發佈TimeSformer的團隊並未為此模型編寫模型卡片，此模型卡片由fcakyon編寫。

🚀 快速開始

你可以使用這個原始模型將視頻分類為400種可能的Kinetics - 400標籤之一。

💻 使用示例

基礎用法

以下是如何使用該模型對視頻進行分類的示例：

from transformers import AutoImageProcessor, TimesformerForVideoClassification
import numpy as np
import torch

video = list(np.random.randn(8, 3, 224, 224))

processor = AutoImageProcessor.from_pretrained("facebook/timesformer-base-finetuned-k400")
model = TimesformerForVideoClassification.from_pretrained("facebook/timesformer-base-finetuned-k400")

inputs = processor(video, return_tensors="pt")

with torch.no_grad():
  outputs = model(**inputs)
  logits = outputs.logits

predicted_class_idx = logits.argmax(-1).item()
print("Predicted class:", model.config.id2label[predicted_class_idx])

更多代碼示例請參考文檔。

📄 許可證

此模型採用CC - BY - NC - 4.0許可證。

📚 詳細文檔

BibTeX引用和引用信息

@inproceedings{bertasius2021space,
  title={Is Space-Time Attention All You Need for Video Understanding?},
  author={Bertasius, Gedas and Wang, Heng and Torresani, Lorenzo},
  booktitle={International Conference on Machine Learning},
  pages={813--824},
  year={2021},
  organization={PMLR}
}