open-llava-next-llama3-8bオープンソースチャットボットモデル - マルチモーダルとチャット研究に無料で利用可能

Open Llava Next Llama3 8b

Lin-Chenによって開発

オープンソースのチャットボットモデルで、オープンソースデータ上でモデル全体を微調整して訓練され、マルチモーダルモデルとチャットボットの研究に使用できます。

ダウンロード数 323

リリース時間 : 5/26/2024

モデル概要

open - llava - next - llama3 - 8bはオープンソースで実装されたチャットボットで、オープンソースのOpen - LLaVA - Next - mix1Mデータ上でモデル全体を微調整して訓練され、主に大型マルチモーダルモデルとチャットボットの研究に使用されます。

マルチモーダル能力

視覚と言語処理能力を結合し、画像に関連するテキスト内容を理解し生成することができます。

オープンソース実装

モデルと訓練データは完全にオープンソースで、研究や二次開発が容易です。

性能卓越

複数のベンチマークテスト（MME、SEED、SQAなど）で同類のモデルよりも優れた性能を発揮します。

画像理解

マルチモーダル対話

視覚質問応答

テキスト生成

学術研究

マルチモーダルモデル研究

視覚と言語モデルの結合方法とその性能最適化の研究に使用します。

アプリケーション開発

スマートチャットボット

画像に関連する質問を理解し回答できるチャットボットを開発します。

open-llava-next-llama3-8bはオープンソースのチャットボットモデルで、オープンソースデータを使ってモデル全体を微調整することで訓練され、多モーダルモデルやチャットボットの研究に利用できます。

open-llava-next-llama3-8bは、オープンソースのチャットボットモデルで、多モーダルモデルやチャットボットの研究に役立ちます。以下に、このモデルの詳細情報を紹介します。

属性	詳細
モデルタイプ	open-llava-next-llama3-8bはオープンソースのチャットボットで、オープンソースのOpen-LLaVA-Next-mix1Mデータを使ってモデル全体を微調整することで訓練されています。
モデル作成日	open-llava-next-llama3-8bは2024年5月に訓練されました。
詳細情報の論文またはリソース	[コード]

名称	ViT	LLM	重み	MME	SEED	SQA	MMB	MMB-CN	TextVQA	GQA
llava-next-vicuna-7b	CLIP-L-336	Vicuna-7B	HF	1519	70.2	70.1	67.4	60.6	64.9	64.2
open-llava-next-vicuna-7b	CLIP-L-336	Vicuna-7B	HF	1540	71.1	70.7	68.5	60.7	67.2	64.3
open-llava-next-llama3-8b	CLIP-L-336	LLaMA3-8B	HF	1552	74.4	77.3	74.4	70.4	69.8	65.9