Reflectiva

🚀 反射式LLaVA（ReflectiVA）模型卡片

多模態大語言模型（MLLMs）是大語言模型向處理多模態輸入的自然延伸，它結合了文本和圖像數據。近期，由於其具備處理涉及兩種模態的複雜任務的能力，這類模型備受關注。然而，它們的有效性僅限於訓練期間所獲取的知識，這限制了其實際應用價值。在這項工作中，我們引入了一種新方法，通過整合外部知識源來增強MLLMs的適應性。我們提出的模型——反射式LLaVA（ReflectiVA），利用反射式標記動態確定對外部知識的需求，並預測從外部數據庫檢索到的信息的相關性。標記的訓練遵循兩階段雙模型訓練方案，這最終使MLLM能夠在管理外部知識的同時，在不需要外部知識的任務上保持流暢性和性能。

ReflectiVA在基於知識的視覺問答方面表現出了有效性，與現有方法相比，它具有更出色的性能。

在這個模型空間中，你可以找到ReflectiVA的整體模型（第二階段）權重。

如需更多信息，請訪問我們的ReflectiVA倉庫、項目頁面和數據集。

📚 詳細文檔

引用信息

如果您使用了我們的工作，請引用我們的倉庫：

@inproceedings{cocchi2024augmenting,
  title={{Augmenting Multimodal LLMs with Self-Reflective Tokens for Knowledge-based Visual Question Answering}},
  author={Cocchi, Federico and Moratelli, Nicholas and Cornia, Marcella and Baraldi, Lorenzo and Cucchiara, Rita},
  booktitle={Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition},
  year={2025}
}

論文頁面

論文可在此處查看。

📄 許可證

本項目採用Apache-2.0許可證。