Reflectiva

🚀 モデルカード: Reflective LLaVA (ReflectiVA)

マルチモーダル大規模言語モデル（MLLM）は、大規模言語モデルを拡張して、テキストと画像データを組み合わせたマルチモーダル入力を扱えるようにしたものです。これらのモデルは、最近、両方のモダリティを含む複雑なタスクを解決する能力があることから注目を集めています。しかし、その有効性は学習中に獲得した知識に限定されており、実用性が制限されています。この研究では、外部の知識源を統合することでMLLMの適応性を高める新しい方法を提案します。

我々が提案するモデルであるReflective LLaVA（ReflectiVA）は、反射トークンを利用して、外部知識の必要性を動的に判断し、外部データベースから取得した情報の関連性を予測します。トークンは、二段階二モデルの学習方法で学習されます。これにより、MLLMは外部知識を管理しながら、外部知識が不要なタスクでも流暢性と性能を維持することができます。

ReflectiVAは、知識ベースの視覚的質問応答において有効であり、既存の方法と比較して優れた性能を示しています。

このモデルスペースでは、ReflectiVAの全体モデル（二段階目）の重みを見つけることができます。

詳細については、ReflectiVAリポジトリ、プロジェクトページ、およびデータセットを参照してください。

📚 詳細ドキュメント

引用

我々の研究を利用する場合は、以下のように引用してください。

@inproceedings{cocchi2024augmenting,
  title={{Augmenting Multimodal LLMs with Self-Reflective Tokens for Knowledge-based Visual Question Answering}},
  author={Cocchi, Federico and Moratelli, Nicholas and Cornia, Marcella and Baraldi, Lorenzo and Cucchiara, Rita},
  booktitle={Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition},
  year={2025}
}

論文ページ

論文はこちらで見つけることができます。

📄 ライセンス

このライブラリは apache-2.0 ライセンスの下で提供されています。