TEMPURA Qwen2.5 VL 3B S1

🚀 TEMPURA：用於動作推理的時間事件掩碼預測與理解

TEMPURA通過將因果推理與細粒度的時間分割相結合，增強了視頻的時間理解能力。它採用兩階段訓練框架：首先，通過掩碼事件預測推理來重建缺失事件並生成因果解釋；其次，學習視頻分割和密集字幕，將視頻分解為不重疊的事件，並提供詳細的、與時間戳對齊的描述。TEMPURA在VER這個大規模數據集（包含100萬個訓練實例、50萬段視頻）上進行訓練，該數據集具有時間對齊的事件描述和結構化的推理步驟。在時間定位和高光檢測基準測試中，TEMPURA的表現優於強大的基線模型。

項目頁面 | arXiv預印本 | VER數據集 | Github倉庫

✨ 主要特性

• 結合因果推理與細粒度時間分割，增強視頻時間理解能力。
• 採用兩階段訓練框架，包括掩碼事件預測推理和視頻分割與密集字幕學習。
• 在大規模數據集VER上訓練，具有時間對齊的事件描述和結構化推理步驟。
• 在時間定位和高光檢測基準測試中表現優於基線模型。

📚 詳細文檔

基礎模型

模型權重

• TEMPURA-Qwen2.5-VL-3B-s1
• TEMPURA-Qwen2.5-VL-3B-s2

引用TEMPURA

如果您覺得我們的論文或數據集有用，請考慮引用我們的工作！

@article{tempura,
       title={TEMPURA: Temporal Event Masked Prediction and Understanding for Reasoning in Action}, 
       author={Jen-Hao Cheng and Vivian Wang and Huayu Wang and Huapeng Zhou and Yi-Hao Peng and Hou-I Liu
              and Hsiang-Wei Huang and Kuang-Ming Chen and Cheng-Yen Yang
              and Wenhao Chai and Yi-Ling Chen and Vibhav Vineet and Qin Cai and Jenq-Neng Hwang},
       journal={arXiv preprint arXiv:2505.01583},
       year={2025}
}