open-llava-next-llama3-8b开源聊天机器人模型 - 免费用于多模态与聊天研究

Open Llava Next Llama3 8b

由 Lin-Chen 开发

一个开源的聊天机器人模型，通过在开源数据上微调整个模型进行训练，可用于多模态模型和聊天机器人的研究。

下载量 323

发布时间 : 5/26/2024

模型简介

open-llava-next-llama3-8b是一个开源实现的聊天机器人，通过在开源的Open-LLaVA-Next-mix1M数据上微调整个模型进行训练，主要用于大型多模态模型和聊天机器人的研究。

多模态能力

结合视觉和语言处理能力，能够理解和生成与图像相关的文本内容。

开源实现

模型和训练数据完全开源，便于研究和二次开发。

性能优越

在多个基准测试（MME、SEED、SQA等）上表现优于同类模型。

图像理解

多模态对话

视觉问答

文本生成

学术研究

多模态模型研究

用于研究视觉和语言模型的结合方式及其性能优化。

应用开发

智能聊天机器人

开发能够理解和回答与图像相关问题的聊天机器人。

属性	详情
模型类型	open-llava-next-llama3-8b是一个开源实现的聊天机器人，通过在开源的Open-LLaVA-Next-mix1M数据上微调整个模型进行训练。
模型日期	open-llava-next-llama3-8b于2024年5月进行训练。
更多信息的论文或资源	[代码]

名称	ViT	LLM	权重	MME	SEED	SQA	MMB	MMB-CN	TextVQA	GQA
llava-next-vicuna-7b	CLIP-L-336	Vicuna-7B	HF	1519	70.2	70.1	67.4	60.6	64.9	64.2
open-llava-next-vicuna-7b	CLIP-L-336	Vicuna-7B	HF	1540	71.1	70.7	68.5	60.7	67.2	64.3
open-llava-next-llama3-8b	CLIP-L-336	LLaMA3-8B	HF	1552	74.4	77.3	74.4	70.4	69.8	65.9