Mmduet

🚀 MMDuet

MMDuet 是一款視頻大語言模型（VideoLLM）的模型檢查點，它能讓你在視頻播放時與之進行即時交互，為視頻理解和交互帶來了全新的體驗。

🚀 快速開始

MMDuet 可助力你在視頻播放過程中實現即時交互，為視頻理解和分析提供強大支持。

📚 詳細文檔

模型詳情

• 庫名稱：peft
• 基礎模型：lmms-lab/llava-onevision-qwen2-7b-ov
• 數據集：wangyueqian/MMDuetIT
• 語言：英文
• 標籤：llava-onevision、llava、多模態、在線視頻理解、視頻理解
• 任務類型：視頻文本到文本

相關資源

• 論文：VideoLLM Knows When to Speak: Enhancing Time-Sensitive Video Comprehension with Video-Text Duet Interaction Format
• GitHub：MMDuet
• 視頻演示：Youtube 和 Bilibili
• 數據：MMDuetIT

引用信息

如果您在研究中使用了本工作，請考慮引用以下內容：

@misc{wang2024mmduet,
      title={VideoLLM Knows When to Speak: Enhancing Time-Sensitive Video Comprehension with Video-Text Duet Interaction Format}, 
      author={Yueqian Wang and Xiaojun Meng and Yuxuan Wang and Jianxin Liang and Jiansheng Wei and Huishuai Zhang and Dongyan Zhao},
      year={2024},
      eprint={2411.17991},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2411.17991}, 
}

📄 許可證

本項目採用 MIT 許可證。