open-llava-next-llama3-8b開源聊天機器人模型 - 免費用於多模態與聊天研究

Open Llava Next Llama3 8b

由Lin-Chen開發

一個開源的聊天機器人模型，通過在開源數據上微調整個模型進行訓練，可用於多模態模型和聊天機器人的研究。

下載量 323

發布時間 : 5/26/2024

模型概述

open-llava-next-llama3-8b是一個開源實現的聊天機器人，通過在開源的Open-LLaVA-Next-mix1M數據上微調整個模型進行訓練，主要用於大型多模態模型和聊天機器人的研究。

多模態能力

結合視覺和語言處理能力，能夠理解和生成與圖像相關的文本內容。

開源實現

模型和訓練數據完全開源，便於研究和二次開發。

性能優越

在多個基準測試（MME、SEED、SQA等）上表現優於同類模型。

圖像理解

多模態對話

視覺問答

文本生成

學術研究

多模態模型研究

用於研究視覺和語言模型的結合方式及其性能優化。

應用開發

智能聊天機器人

開發能夠理解和回答與圖像相關問題的聊天機器人。

屬性	詳情
模型類型	open-llava-next-llama3-8b是一個開源實現的聊天機器人，通過在開源的Open-LLaVA-Next-mix1M數據上微調整個模型進行訓練。
模型日期	open-llava-next-llama3-8b於2024年5月進行訓練。
更多信息的論文或資源	[代碼]

名稱	ViT	LLM	權重	MME	SEED	SQA	MMB	MMB-CN	TextVQA	GQA
llava-next-vicuna-7b	CLIP-L-336	Vicuna-7B	HF	1519	70.2	70.1	67.4	60.6	64.9	64.2
open-llava-next-vicuna-7b	CLIP-L-336	Vicuna-7B	HF	1540	71.1	70.7	68.5	60.7	67.2	64.3
open-llava-next-llama3-8b	CLIP-L-336	LLaMA3-8B	HF	1552	74.4	77.3	74.4	70.4	69.8	65.9