Videollama2 72B

🚀 VideoLLaMA 2：推進視頻大語言模型中的時空建模和音頻理解

VideoLLaMA 2 是一款多模態大語言模型，在視頻理解任務中表現出色，能夠處理視頻問答、視頻字幕生成等任務，提升了時空建模和音頻理解能力。

📄 許可證

本項目採用 Apache-2.0 許可證。

🚀 快速開始

模型信息

📰 新聞動態

• [2024.06.12] 發佈 VideoLLaMA 2 的模型權重和第一版技術報告。
• [2024.06.03] 發佈 VideoLLaMA 2 的訓練、評估和服務代碼。

🌎 模型庫

🚀 主要結果

多項選擇視頻問答與視頻字幕生成

開放式視頻問答

💻 使用示例

基礎用法

import sys
sys.path.append('./')
from videollama2 import model_init, mm_infer
from videollama2.utils import disable_torch_init


def inference():
    disable_torch_init()

    # 視頻推理
    modal = 'video'
    modal_path = 'assets/cat_and_chicken.mp4' 
    instruct = '視頻中有哪些動物，它們在做什麼，視頻給人的感覺如何？'
   
    # 圖像推理
    modal = 'image'
    modal_path = 'assets/sora.png'
    instruct = '圖片中的女人穿著什麼，她在做什麼，圖片給人的感覺如何？'
    
    model_path = 'DAMO-NLP-SG/VideoLLaMA2-72B'
    model, processor, tokenizer = model_init(model_path)
    output = mm_infer(processor[modal](modal_path), instruct, model=model, tokenizer=tokenizer, do_sample=False, modal=modal)

    print(output)

if __name__ == "__main__":
    inference()

📚 引用

如果您發現 VideoLLaMA 對您的研究和應用有幫助，請使用以下 BibTeX 進行引用：

@article{damonlpsg2024videollama2,
  title={VideoLLaMA 2: Advancing Spatial-Temporal Modeling and Audio Understanding in Video-LLMs},
  author={Cheng, Zesen and Leng, Sicong and Zhang, Hang and Xin, Yifei and Li, Xin and Chen, Guanzheng and Zhu, Yongxin and Zhang, Wenqi and Luo, Ziyang and Zhao, Deli and Bing, Lidong},
  journal={arXiv preprint arXiv:2406.07476},
  year={2024},
  url = {https://arxiv.org/abs/2406.07476}
}
@article{damonlpsg2023videollama,
  title = {Video-LLaMA: An Instruction-tuned Audio-Visual Language Model for Video Understanding},
  author = {Zhang, Hang and Li, Xin and Bing, Lidong},
  journal = {arXiv preprint arXiv:2306.02858},
  year = {2023},
  url = {https://arxiv.org/abs/2306.02858}
}