TEMPURA Qwen2.5 VL 3B S1

🚀 TEMPURA: アクション推論のための時間的イベントマスク予測と理解

TEMPURAは、因果推論と細粒度な時間的セグメンテーションを統合することで、ビデオの時間的理解を強化します。このモデルは2段階の学習フレームワークを使用しています。まず、マスクされたイベント予測推論により、欠落したイベントを再構築し、因果関係の説明を生成します。次に、ビデオのセグメンテーションと高密度なキャプション付けを学習し、ビデオを非重複のイベントに分解し、詳細なタイムスタンプ付きの説明を付与します。TEMPURAは、大規模データセットVER（100万件の学習インスタンス、50万本のビデオ）を使用して学習されており、このデータセットには時間的に整列したイベント説明と構造化された推論ステップが含まれています。時間的グラウンディングとハイライト検出のベンチマークで、強力なベースラインモデルを上回っています。

プロジェクトページ | arXivプレプリント | VERデータセット | Githubリポジトリ

📦 モデル情報

📚 モデルの重み

• TEMPURA-Qwen2.5-VL-3B-s1
• TEMPURA-Qwen2.5-VL-3B-s2

📄 TEMPURAの引用

もし当社の論文やデータセットが役立った場合は、是非ご引用ください！

@article{tempura,
       title={TEMPURA: Temporal Event Masked Prediction and Understanding for Reasoning in Action}, 
       author={Jen-Hao Cheng and Vivian Wang and Huayu Wang and Huapeng Zhou and Yi-Hao Peng and Hou-I Liu
              and Hsiang-Wei Huang and Kuang-Ming Chen and Cheng-Yen Yang
              and Wenhao Chai and Yi-Ling Chen and Vibhav Vineet and Qin Cai and Jenq-Neng Hwang},
       journal={arXiv preprint arXiv:2505.01583},
       year={2025}
}