Spacetimegpt

🚀 SpaceTimeGPT - ビデオキャプショニングモデル

SpaceTimeGPTは、空間的および時間的推論が可能なビデオ説明生成モデルです。ビデオを入力として受け取り、8枚のフレームをサンプリングして分析し、ビデオ内で起こったイベントの文章説明を自己回帰を用いて生成します。

(部分図は 1, 2, 3 から引用)

📦 データセットとメトリクス

📊 モデル指標

🔧 アーキテクチャと学習

• ビジョンエンコーダ：timesformer-base-finetuned-k600
• テキストデコーダ：gpt2

エンコーダとデコーダは、それぞれビデオ分類と文章完成のための事前学習済みの重みを使用して初期化されます。エンコーダ - デコーダのクロスアテンションを使用して、視覚的および言語的な領域を統合します。モデルは、ビデオキャプショニングタスクでエンドツーエンドで微調整されます。詳細は GitHubリポジトリ を参照してください。

💻 使用例

基本的な使用法

import av
import numpy as np
import torch
from transformers import AutoImageProcessor, AutoTokenizer, VisionEncoderDecoderModel

device = "cuda" if torch.cuda.is_available() else "cpu"

# load pretrained processor, tokenizer, and model
image_processor = AutoImageProcessor.from_pretrained("MCG-NJU/videomae-base")
tokenizer = AutoTokenizer.from_pretrained("gpt2")
model = VisionEncoderDecoderModel.from_pretrained("Neleac/timesformer-gpt2-video-captioning").to(device)

# load video
video_path = "never_gonna_give_you_up.mp4"
container = av.open(video_path)

# extract evenly spaced frames from video
seg_len = container.streams.video[0].frames
clip_len = model.config.encoder.num_frames
indices = set(np.linspace(0, seg_len, num=clip_len, endpoint=False).astype(np.int64))
frames = []
container.seek(0)
for i, frame in enumerate(container.decode(video=0)):
    if i in indices:
        frames.append(frame.to_ndarray(format="rgb24"))

# generate caption
gen_kwargs = {
    "min_length": 10, 
    "max_length": 20, 
    "num_beams": 8,
}
pixel_values = image_processor(frames, return_tensors="pt").pixel_values.to(device)
tokens = model.generate(pixel_values, **gen_kwargs)
caption = tokenizer.batch_decode(tokens, skip_special_tokens=True)[0]
print(caption) # A man and a woman are dancing on a stage in front of a mirror.

📇 作者情報

👾 Discord
🐙 GitHub
🤝 LinkedIn