Mmduet

🚀 MMDuet

MMDuetは、動画再生中にリアルタイムで対話できるVideoLLMのモデルチェックポイントです。このモデルは、時間に敏感な動画理解を強化するための新しいアプローチを提供します。

📚 詳細ドキュメント

モデル情報

関連リソース

• 論文: VideoLLM Knows When to Speak: Enhancing Time-Sensitive Video Comprehension with Video-Text Duet Interaction Format
• Github: MMDuet
• 動画デモ: On Youtube と On Bilibili
• データ: MMDuetIT

引用

もしあなたの研究でこの成果を利用する場合は、以下のように引用してください。

@misc{wang2024mmduet,
      title={VideoLLM Knows When to Speak: Enhancing Time-Sensitive Video Comprehension with Video-Text Duet Interaction Format}, 
      author={Yueqian Wang and Xiaojun Meng and Yuxuan Wang and Jianxin Liang and Jiansheng Wei and Huishuai Zhang and Dongyan Zhao},
      year={2024},
      eprint={2411.17991},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2411.17991}, 
}

📄 ライセンス

このプロジェクトはMITライセンスの下で公開されています。