Llava Llama 2 7b Chat Lightning Lora Preview

🚀 LLaVAモデルカード

LLaVAは、GPTで生成されたマルチモーダル命令追従データを使用してLLaMA/Vicunaをファインチューニングすることで学習されたオープンソースのチャットボットです。このモデルは、大規模なマルチモーダルモデルやチャットボットに関する研究に役立ちます。

🚀 クイックスタート

このセクションでは、LLaVAモデルの基本的な情報をご紹介します。

✨ 主な機能

• マルチモーダルデータを利用した命令追従能力
• 画像とテキストの関連付けによる高度な理解

📚 ドキュメント

🔍 モデル詳細

📄 ライセンス

Llama 2は、LLAMA 2 Community Licenseの下でライセンスされています。Copyright (c) Meta Platforms, Inc. All Rights Reserved.

❓ モデルに関する質問やコメントの送信先

https://github.com/haotian-liu/LLaVA/issues

🎯 意図された用途

主な意図された用途

LLaVAの主な用途は、大規模なマルチモーダルモデルやチャットボットに関する研究です。

主な意図されたユーザー

このモデルの主な意図されたユーザーは、コンピュータビジョン、自然言語処理、機械学習、人工知能の研究者や愛好家です。

📊 学習データセット

• LAION/CC/SBUから抽出され、BLIPでキャプション付けされた558Kの画像-テキストペア
• 80KのGPT生成マルチモーダル命令追従データ

🧪 評価データセット

モデル品質の予備評価は、COCO val 2014からランダムにサンプリングされた30枚の一意の画像から90の視覚的推論質問のセットを作成することで行われます。各画像には、会話型、詳細な説明、複雑な推論の3種類の質問が関連付けられています。GPT-4を利用してモデル出力を判断します。 また、ScienceQAデータセットでもモデルを評価しています。GPT-4との相乗効果により、このデータセットで新たな最先端技術を達成しています。詳細はhttps://llava-vl.github.io/を参照してください。