Llama_3.1_8b_Smarteaz_V1.01开源文本生成模型

首页

Llama 3.1 8b Smarteaz V1.01

由 Nexesenex 开发

基于Llama 3.1架构的8B参数模型，通过mergekit合并多个Smarteaz系列模型而成，专注于文本生成任务

大型语言模型

Transformers

#指令严格遵循 #复杂任务泛化 #多基准融合

下载量 85

发布时间 : 2/27/2025

模型简介

这是一个合并了多个Smarteaz系列8B参数模型的文本生成模型，采用Model Stock方法合并，可作为智能模块用于更复杂的8B模型合并

模型特点

多模型合并

采用Model Stock方法合并了多个Smarteaz系列8B模型，整合了不同模型的优势

高性能文本生成

在IFEval等基准测试中表现出色，特别是在0样本设置下达到81.51的严格准确率

模块化设计

可作为智能模块用于更复杂的8B模型合并，具有良好的扩展性

模型能力

文本生成

指令跟随

少样本学习

使用案例

评估测试

IFEval评估

用于评估模型在指令跟随任务中的表现

0样本设置下达到81.51的严格准确率

BBH评估

评估模型在复杂推理任务中的表现

3样本设置下达到32.28的归一化准确率

学术研究

数学问题解决

用于解决数学竞赛级别的问题

4样本设置下达到23.41的精确匹配率

🚀 Llama_3.1_8b_Smarteaz_V1.01

Llama_3.1_8b_Smarteaz_V1.01 是基于 mergekit 合并预训练语言模型得到的成果，可作为智能模块用于更复杂的 8b 模型合并。该模型在多个文本生成任务中展现出一定的性能表现。

📄 许可证

本模型使用的许可证为 llama3.1。

📚 详细文档

模型信息

属性	详情
库名称	transformers
标签	mergekit、merge
基础模型	Nexesenex/Llama_3.1_8b_Smarteaz_0.21_R1、Nexesenex/Llama_3.1_8b_Smarteaz_0.11a、Nexesenex/Llama_3.1_8b_Smarteaz_0.21_SN
模型名称	Llama_3.1_8b_Smarteaz_V1.01

模型评估结果

本模型在多个文本生成任务上进行了评估，具体结果如下：

任务类型	数据集名称	评估指标	指标值	来源
文本生成	IFEval (0-Shot)	strict accuracy	81.51	Open LLM Leaderboard
文本生成	BBH (3-Shot)	normalized accuracy	32.28	Open LLM Leaderboard
文本生成	MATH Lvl 5 (4-Shot)	exact match	23.41	Open LLM Leaderboard
文本生成	GPQA (0-shot)	acc_norm	7.94	Open LLM Leaderboard
文本生成	MuSR (0-shot)	acc_norm	8.2	Open LLM Leaderboard
文本生成	MMLU-PRO (5-shot)	accuracy	30.4	Open LLM Leaderboard

详细结果可查看此处。

模型合并详情

合并方法

本模型采用 Model Stock 合并方法，以 Nexesenex/Llama_3.1_8b_Smarteaz_0.11a 为基础模型进行合并。

合并模型

合并过程中包含以下模型：

配置文件

以下是用于生成此模型的 YAML 配置：

merge_method: model_stock
models:
  - model: Nexesenex/Llama_3.1_8b_Smarteaz_0.21_R1
    parameters:
      weight: 1.0
  - model: Nexesenex/Llama_3.1_8b_Smarteaz_0.21_SN
    parameters:
      weight: 1.0
base_model: Nexesenex/Llama_3.1_8b_Smarteaz_0.11a
dtype: bfloat16
normalize: true
chat_template: auto
tokenizer:
  source: union