Llava V1.5 7b

🚀 LLaVAモデルカード

LLaVAは、GPTで生成されたマルチモーダル命令追従データを使用してLLaMA/Vicunaをファインチューニングすることで学習されたオープンソースのチャットボットです。主に大規模マルチモーダルモデルとチャットボットの研究に使用されます。

🚀 クイックスタート

本READMEでは、LLaVAモデルの詳細、ライセンス、使用目的、学習データセット、評価データセットなどについて説明します。

✨ 主な機能

LLaVAは、画像とテキストを入力として受け取り、テキストを出力するマルチモーダルモデルです。Transformerアーキテクチャに基づいた自己回帰型言語モデルです。

📚 ドキュメント

モデル詳細

ライセンス

Llama 2は、LLAMA 2 Community Licenseの下でライセンスされています。著作権はMeta Platforms, Inc.に帰属します。

モデルに関する質問やコメントを送る場所: https://github.com/haotian-liu/LLaVA/issues

想定される使用目的

主な想定使用目的: LLaVAの主な使用目的は、大規模マルチモーダルモデルとチャットボットの研究です。

主な想定ユーザー: このモデルの主な想定ユーザーは、コンピュータビジョン、自然言語処理、機械学習、人工知能の研究者と愛好家です。

学習データセット

• BLIPによってキャプション付けされたLAION/CC/SBUからの558Kのフィルタリングされた画像-テキストペア。
• 158KのGPTで生成されたマルチモーダル命令追従データ。
• 450Kの学術タスク指向のVQAデータ混合物。
• 40KのShareGPTデータ。

評価データセット

12のベンチマークのコレクションで、5つの学術VQAベンチマークと7つの最近提案された命令追従型LMM用のベンチマークが含まれています。