Llava V1.6 Vicuna 7b

🚀 LLaVAモデルカード

LLaVAは、マルチモーダルな命令追従データで大規模言語モデルをファインチューニングすることで学習されたオープンソースのチャットボットです。画像とテキストを入力として、テキストを出力することができます。

🚀 クイックスタート

このセクションでは、LLaVAモデルの概要と基本的な情報を提供します。

✨ 主な機能

• マルチモーダルな命令追従: 画像とテキストを組み合わせた入力に対して、適切な応答を生成します。
• 大規模言語モデルのファインチューニング: 既存の大規模言語モデルをベースに、マルチモーダルデータでファインチューニングすることで、高性能なチャットボットを実現します。

📦 インストール

このREADMEには具体的なインストール手順が記載されていないため、このセクションを省略します。

📚 ドキュメント

モデルの詳細

ライセンス

Llama 2は、LLAMA 2 Community Licenseの下でライセンスされています。Copyright (c) Meta Platforms, Inc. All Rights Reserved.

モデルに関する質問やコメントを送る場所: https://github.com/haotian-liu/LLaVA/issues

想定される使用目的

主な想定される使用方法: LLaVAの主な使用方法は、大規模マルチモーダルモデルとチャットボットの研究です。

主な想定されるユーザー: このモデルの主な想定されるユーザーは、コンピュータビジョン、自然言語処理、機械学習、および人工知能の研究者と愛好家です。

学習データセット

• LAION/CC/SBUから抽出され、BLIPでキャプション付けされた558Kの画像-テキストペア。
• GPTによって生成された158Kのマルチモーダル命令追従データ。
• 500Kの学術タスク指向のVQAデータの混合物。
• 50KのGPT-4Vデータの混合物。
• 40KのShareGPTデータ。

評価データセット

5つの学術的なVQAベンチマークと7つの最近提案された命令追従型LMM用のベンチマークを含む、12のベンチマークのコレクション。