Llava V1.5 7b M3

🚀 マトリョーシカマルチモーダルモデル (M3) モデルカード

マトリョーシカマルチモーダルモデル (M3) は、大規模マルチモーダルモデルとチャットボットの研究に役立つモデルです。視覚粒度を明示的に制御でき、画像やデータセットの複雑さの指標としても機能します。

📚 ドキュメント

モデルの詳細

ライセンス

Llama 2 は LLAMA 2 コミュニティライセンスの下でライセンスされています。 Copyright (c) Meta Platforms, Inc. All Rights Reserved.

モデルに関する質問やコメントを送る場所： https://github.com/mu-cai/matryoshka-mm/issues

想定される使用方法

主な想定使用用途： M3 の主な使用用途は、大規模マルチモーダルモデルとチャットボットの研究です。

主な想定ユーザー： このモデルの主な想定ユーザーは、コンピュータビジョン、自然言語処理、機械学習、人工知能の研究者や愛好家です。

学習データセット

• LAION/CC/SBU からフィルタリングされた 558K の画像 - テキストペアで、BLIP でキャプション付けされました。
• LLaVA - 1.5 からの 665K の画像レベルの命令データ。

評価データセット

マトリョーシカマルチモーダルモデル (M3) は、画像あたり 1 または 9 個の視覚トークンを使用しても強力な性能を発揮します。