Llava UHD V2 Vicuna 7B

🚀 LLaVA-UHD v2 模型卡片

LLaVA-UHD v2 是一款先進的多模態大語言模型（MLLM），它圍繞分層窗口變換器構建，能夠通過構建和集成高分辨率特徵金字塔來捕捉不同的視覺粒度，主要用於大模態模型和聊天機器人的研究。

📚 詳細文檔

模型詳情

許可證

LLaVA-UHD v2 遵循 LLAMA 2 社區許可證，版權歸 Meta Platforms, Inc. 所有，保留所有權利。

問題反饋

若你對該模型有任何問題或建議，可前往 https://github.com/thunlp/LLaVA-UHD/issues 反饋。

預期用途

• 主要預期用途：LLaVA-UHD v2 主要用於大型多模態模型和聊天機器人的研究。
• 主要目標用戶：該模型的主要目標用戶是計算機視覺、自然語言處理、機器學習和人工智能領域的研究人員和愛好者。

訓練數據集

• VDIM 預訓練：MS-COCO stuff 2017
• 預訓練：LLaVA-Pretrain 558K（從 LAION/CC/SBU 中篩選的圖像 - 文本對，由 BLIP 加了標題）
• 監督微調（SFT）：https://huggingface.co/datasets/YipengZhang/LLaVA-UHD-v2-SFT-Data 中的 858k 混合數據集

引用信息

如果您發現 LLaVA-UHD v2 對您的研究和應用有幫助，請使用以下 BibTeX 進行引用：

@article{zhang2024llavauhdv2,
  title={LLaVA-UHD v2: an MLLM Integrating High-Resolution Feature Pyramid via Hierarchical Window Transformer},
  author={Yipeng Zhang and Yifan Liu and Zonghao Guo and Yidan Zhang and Xuesong Yang and Chi Chen and Jun Song and Bo Zheng and Yuan Yao and Zhiyuan Liu and Tat-Seng Chua and Maosong Sun},
  journal={arXiv preprint arXiv:2412.13871},
  year={2024}
}