Auroracap 7B VID Xtuner

🚀 AuroraCap-7B

AuroraCap-7B 是一個用於圖像和視頻字幕生成的多模態大語言模型，在多個視頻相關任務中表現出色，為圖像和視頻的內容描述提供了強大的支持。

🚀 快速開始

查看 文檔。

✨ 主要特性

AuroraCap 是一個用於圖像和視頻字幕生成的多模態大語言模型。

📚 詳細文檔

資源鏈接

• 項目網站
• arXiv 論文
• GitHub 代碼
• Huggingface: AuroraCap 模型
• Huggingface: VDC 基準測試
• Huggingface: 訓練集

模型信息

模型表現

📢 常見問題解答

Q: 推理時能否僅使用 token 合併？

A: 不行，我們的實驗表明，token 合併也是一種在保持相似性能的同時加速訓練的方法。此外，除了 AuroraCap，你還可以在其他類似 LLaVA 的模型上使用 token 合併。

Q: 為什麼為 AuroraCap 同時提供官方 LLaVA 格式和 Xtuner 格式的權重？

A: 雖然 Xtuner 支持以多種格式保存檢查點，但目前它只允許使用 Xtuner 格式進行繼續訓練。因此，我們目前提供 Xtuner 格式的模型用於繼續訓練和推理。未來，我們將提供官方 LLaVA 格式的模型用於訓練和推理，以實現更快的 SGLang 部署並與 transformers 集成。

📄 許可證

本項目採用 Apache-2.0 許可證。

📖 引用信息

@article{chai2024auroracap,
  title={AuroraCap: Efficient, Performant Video Detailed Captioning and a New Benchmark },
  author={Wenhao Chai, Enxin Song, Yilun Du, Chenlin Meng, Vashisht Madhavan, Omer Bar-Tal, Jeng-Neng Hwang, Saining Xie, Christopher D. Manning},
  journal={arXiv preprint arXiv:2410.03051},
  year={2024}
}