Open-LLaVA-NeXT-LLaMA3-8B開源聊天機器人 - 支持多模態研究，免費可用

Open LLaVA NeXT LLaMA3 8B

由Share4oReasoning開發

一個開源的聊天機器人模型，通過在開源數據上微調整個模型進行訓練，可用於多模態模型和聊天機器人的研究。

下載量 215

發布時間 : 12/27/2024

模型概述

open-llava-next-llama3-8b是一個基於LLaMA3-8B的多模態模型，主要用於大型多模態模型和聊天機器人的研究。

多模態能力

結合視覺和語言處理能力，能夠理解和生成基於圖像和文本的響應。

開源訓練數據

使用完全開源的數據集進行訓練，包括ShareGPT4V Mix665K和其他生成數據。

高性能

在多個基準測試（如MME、SEED、SQA等）上表現優異，優於同類模型。

多模態對話

視覺問答

文本生成

圖像理解

研究

多模態模型研究

用於研究視覺和語言模型的結合與性能優化。

在多個基準測試中表現優異

聊天機器人開發

開發能夠理解和生成基於圖像和文本的聊天機器人。

教育

視覺問答系統

用於教育場景中的視覺問答和交互式學習。

屬性	詳情
模型類型	open-llava-next-llama3-8b是一個開源的聊天機器人，通過在開源的Open-LLaVA-Next-mix1M數據上微調整個模型進行訓練。
模型日期	open-llava-next-llama3-8b於2024年5月進行訓練。
更多信息的論文或資源	[代碼]

名稱	ViT	LLM	權重	MME	SEED	SQA	MMB	MMB - CN	TextVQA	GQA
llava-next-vicuna-7b	CLIP - L - 336	Vicuna - 7B	HF	1519	70.2	70.1	67.4	60.6	64.9	64.2
open-llava-next-vicuna-7b	CLIP - L - 336	Vicuna - 7B	HF	1540	71.1	70.7	68.5	60.7	67.2	64.3
open-llava-next-llama3-8b	CLIP - L - 336	LLaMA3 - 8B	HF	1552	74.4	77.3	74.4	70.4	69.8	65.9