Auroracap 7B VID Xtuner

🚀 AuroraCap-7B

AuroraCap-7Bは、画像と動画のキャプショニングに特化したマルチモーダル大規模言語モデルです。このモデルは、多様なビデオ関連タスクで優れた性能を発揮し、新しいベンチマークを提供します。

🚀 クイックスタート

詳細はドキュメントを参照してください。

✨ 主な機能

AuroraCapは、画像と動画のキャプショニングを行うためのマルチモーダル大規模言語モデルです。

📚 ドキュメント

リソース

• ウェブサイト
• arXiv: 論文
• GitHub: コード
• Huggingface: AuroraCapモデル
• Huggingface: VDCベンチマーク
• Huggingface: トレーニングセット

モデル情報

モデルの評価結果

ビデオ詳細キャプショニング (VDC)

ビデオキャプショニング (MSR-VTT)

ビデオキャプショニング (VATEX)

ビデオ質問応答 (ActivityNet)

ビデオ質問応答 (MSVD)

ビデオ質問応答 (MSR-VTT)

ビデオ質問応答 (iVQA)

よくある質問 (FAQ)

Q: 推論時にのみトークンマージングを使用できますか？

A: いいえ、私たちの実験では、トークンマージングは推論だけでなく、トレーニングの高速化にも有効であり、性能も同等に維持できることがわかりました。また、auroracapだけでなく、他のllavaライクなモデルでもトークンマージングを使用できます。

Q: なぜAuroraCapには公式のLLaVA形式とXtuner形式の両方の重みを提供するのですか？

A: Xtunerは複数の形式でチェックポイントを保存できますが、現在はXtuner形式でのみ継続的なトレーニングが可能です。そのため、現在は継続的なトレーニングと推論の両方にXtuner形式のモデルを提供しています。将来的には、公式のLLaVA形式のモデルもトレーニングと推論の両方に提供し、より迅速なSGLangのデプロイとtransformersとの統合を可能にします。

引用

@article{chai2024auroracap,
  title={AuroraCap: Efficient, Performant Video Detailed Captioning and a New Benchmark },
  author={Wenhao Chai, Enxin Song, Yilun Du, Chenlin Meng, Vashisht Madhavan, Omer Bar-Tal, Jeng-Neng Hwang, Saining Xie, Christopher D. Manning},
  journal={arXiv preprint arXiv:2410.03051},
  year={2024}
}

📄 ライセンス

このプロジェクトはApache-2.0ライセンスの下で公開されています。