Llava Lightning 7B Delta V1 1

🚀 LLaVAモデルカード

LLaVAは、GPTで生成されたマルチモーダル命令追従データを使用してLLaMA/Vicunaを微調整することで学習されたオープンソースのチャットボットです。主に大規模マルチモーダルモデルとチャットボットの研究に使用されます。

🚀 クイックスタート

⚠️ 重要提示

この「デルタモデル」は直接使用することはできません。ユーザーは、実際のLLaVAの重みを取得するために、元のLLaMAの重みに適用する必要があります。詳細な手順は、https://github.com/haotian-liu/LLaVA#llava-weights を参照してください。

✨ 主な機能

LLaVAは、トランスフォーマーアーキテクチャに基づく自己回帰型言語モデルで、大規模マルチモーダルモデルとチャットボットの研究に役立ちます。

📚 ドキュメント

モデルの詳細

想定される使用方法

主な想定用途

LLaVAの主な用途は、大規模マルチモーダルモデルとチャットボットの研究です。

主な想定ユーザー

このモデルの主な想定ユーザーは、コンピュータビジョン、自然言語処理、機械学習、人工知能の研究者と愛好家です。

学習データセット

• LAION/CC/SBUから抽出され、BLIPでキャプション付けされた558Kの画像テキストペア。
• 80KのGPTで生成されたマルチモーダル命令追従データ。

評価データセット

モデル品質の予備評価は、COCO val 2014からランダムにサンプリングされた30枚の一意の画像から90個の視覚推論質問のセットを作成することで行われます。各画像には、会話型、詳細な説明、複雑な推論の3種類の質問が関連付けられています。GPT-4を利用してモデルの出力を判断します。 また、ScienceQAデータセットでモデルを評価しています。GPT-4との相乗効果により、このデータセットで新たな最先端技術を達成しています。詳細はhttps://llava-vl.github.io/ を参照してください。

📄 ライセンス

このモデルはApache License 2.0の下で提供されています。