Llava 13b Delta V0

🚀 LLaVAモデルカード

LLaVAは、GPTが生成したマルチモーダル命令追従データ上でLLaMA/Vicunaをファインチューニングすることで学習されたオープンソースのチャットボットです。大規模マルチモーダルモデルやチャットボットの研究に役立ちます。

🚀 クイックスタート

⚠️ 重要な注意

この「デルタモデル」は直接使用することはできません。ユーザーは、実際のLLaVAの重みを取得するために、これを元のLLaMAの重みに適用する必要があります。詳細な手順は、https://github.com/haotian-liu/LLaVA#llava-weights を参照してください。

✨ 主な機能

LLaVAは、トランスフォーマーアーキテクチャに基づく自己回帰型の言語モデルです。大規模マルチモーダルモデルやチャットボットの研究に使用できます。

📚 ドキュメント

モデルの詳細

想定される使用方法

主な想定使用用途

LLaVAの主な使用用途は、大規模マルチモーダルモデルやチャットボットの研究です。

主な想定ユーザー

このモデルの主な想定ユーザーは、コンピュータビジョン、自然言語処理、機械学習、人工知能の研究者や愛好家です。

学習データセット

• CC3Mからフィルタリングされた595Kの画像テキストペア。
• 150KのGPT生成マルチモーダル命令追従データ。

評価データセット

モデル品質の予備評価は、COCO val 2014からランダムにサンプリングされた30枚の一意の画像から90個の視覚的推論問題のセットを作成することで行われます。各画像には、会話型、詳細な説明、複雑な推論の3種類の質問が関連付けられています。GPT - 4を利用してモデルの出力を判断します。 また、ScienceQAデータセットでもモデルを評価しています。GPT - 4との相乗効果により、このデータセットで新たな最先端技術を達成しています。詳細はhttps://llava-vl.github.io/ を参照してください。

📄 ライセンス

Apache License 2.0