Vip Llava 7b

🚀 ViP-LLaVAモデルカード

ViP-LLaVAは、画像レベルの命令データとビジュアルプロンプトで注釈付けされた領域レベルの命令データの両方でLLaMA/Vicunaを微調整することで学習されたオープンソースのチャットボットです。大規模なマルチモーダルモデルとチャットボットの研究に役立ちます。

📚 詳細ドキュメント

モデルの詳細

ライセンス

Llama 2は、LLAMA 2 Community Licenseの下でライセンスされています。 Copyright (c) Meta Platforms, Inc. All Rights Reserved.

モデルに関する質問やコメントを送信する場所: https://github.com/mu-cai/ViP-LLaVA/issues

想定される用途

主な想定用途: ViP-LLaVAの主な用途は、大規模なマルチモーダルモデルとチャットボットの研究です。

主な想定ユーザー: このモデルの主な想定ユーザーは、コンピュータビジョン、自然言語処理、機械学習、および人工知能の研究者と愛好家です。

学習データセット

• LAION/CC/SBUからフィルタリングされた558Kの画像テキストペアで、BLIPによってキャプション付けされました。
• LLaVA-1.5からの665Kの画像レベルの命令データ。
• ビジュアルプロンプトでマークされた520Kの画像テキストペア。
• GPT-4Vから生成された13Kの領域レベルの命令データ。

評価データセット

ViP-LLaVAは、4つの学術的な領域レベルのベンチマークと新たに提案されたRegionBenchで最先端の性能を達成しています。