Llama3 Mova 8b

🚀 MoVA-8Bモデルカード

MoVA-8Bはオープンソースの多モーダル大規模言語モデルです。このモデルは粗から細へのメカニズムを採用し、特定タスクの視覚エキスパートモジュールを適応的にルーティングおよび融合します。多モーダルモデルやチャットボットの研究に利用できます。

✨ 主な機能

• 多モーダル融合：粗から細へのメカニズムを用いて、特定タスクの視覚エキスパートモジュールを適応的にルーティングおよび融合します。
• 豊富な視覚エンコーダ：OpenAI-CLIP-336px、DINOv2-giantなど、複数の視覚エンコーダを統合しています。
• 強力な基礎大規模言語モデル：meta-llama/Meta-Llama-3-8B-Instructに基づいています。

📦 インストール

[リポジトリ]で提供している方法に従って、このモデルを直接使用することができます。

📚 ドキュメント

モデルの詳細

• モデルタイプ：MoVA-8Bはオープンソースの多モーダル大規模言語モデル（MLLM）で、粗から細へのメカニズムを採用し、特定タスクの視覚エキスパートモジュールを適応的にルーティングおよび融合します。
  • 視覚エンコーダ：OpenAI-CLIP-336px、DINOv2-giant、Co-DETR-large、SAM-huge、Vary-base、Pix2Struct-large、Deplot-base、BiomedCLIP-base
  • 基礎大規模言語モデル：meta-llama/Meta-Llama-3-8B-Instruct
• 詳細情報の論文やリソース：[論文] [コード]

想定用途

• 主な想定用途：MoVA-8Bは主に多モーダルモデルやチャットボットの研究に使用されます。
• 主な想定ユーザー：このモデルの主な想定ユーザーは、コンピュータビジョン、自然言語処理、機械学習、人工知能の分野の研究者や愛好家です。

学習データセット

• 事前学習：1500万個の多様な視覚命令調整サンプルを使用して事前学習を行いました。これにはDataComp-1B、ShareGPT4V-PT、Objects365、MMC-Instructionが含まれます。詳細については、当社の論文を参照してください。
• 微調整：200万個の高品質命令データを使用して微調整を行いました。DocVQA、ChartQA、InfographicVQA、AI2D、ST-VQA、TextVQA、SynthDoG-en、Geometry3K、PGPS9K、Geo170K、VQA-RAD、SLAKEなど、複数の異分野の視覚質問応答データセットをLLaVA-mix-665kに統合しました。また、GPT4-Vによって生成された同等の合成字幕も含まれています。

評価データセット

広範な一般的な多モーダル大規模言語モデルベンチマークでモデルを評価しました。

多モーダルベンチマーク

一般的およびテキスト指向の視覚質問応答

視覚位置特定

📄 ライセンス

このプロジェクトでは、特定のデータセットとチェックポイントを使用しています。これらのデータセットとチェックポイントは、それぞれの元のライセンスの制約を受けます。ユーザーは、これらの元のライセンスのすべての条項および条件を遵守する必要があります。これには、データセットのOpenAI利用規約や、そのデータセットを使用して学習されたチェックポイントの基礎言語モデルの特定のライセンス（例：META LLAMA 3コミュニティライセンス契約）が含まれます。