Llama_3.1_8b_Smarteaz_V1.01開源文本生成模型

首頁

Llama 3.1 8b Smarteaz V1.01

由Nexesenex開發

基於Llama 3.1架構的8B參數模型，通過mergekit合併多個Smarteaz系列模型而成，專注於文本生成任務

大型語言模型

Transformers

#指令嚴格遵循 #複雜任務泛化 #多基準融合

下載量 85

發布時間 : 2/27/2025

模型概述

這是一個合併了多個Smarteaz系列8B參數模型的文本生成模型，採用Model Stock方法合併，可作為智能模塊用於更復雜的8B模型合併

模型特點

多模型合併

採用Model Stock方法合併了多個Smarteaz系列8B模型，整合了不同模型的優勢

高性能文本生成

在IFEval等基準測試中表現出色，特別是在0樣本設置下達到81.51的嚴格準確率

模塊化設計

可作為智能模塊用於更復雜的8B模型合併，具有良好的擴展性

模型能力

文本生成

指令跟隨

少樣本學習

使用案例

評估測試

IFEval評估

用於評估模型在指令跟隨任務中的表現

0樣本設置下達到81.51的嚴格準確率

BBH評估

評估模型在複雜推理任務中的表現

3樣本設置下達到32.28的歸一化準確率

學術研究

數學問題解決

用於解決數學競賽級別的問題

4樣本設置下達到23.41的精確匹配率

🚀 Llama_3.1_8b_Smarteaz_V1.01

Llama_3.1_8b_Smarteaz_V1.01 是基於 mergekit 合併預訓練語言模型得到的成果，可作為智能模塊用於更復雜的 8b 模型合併。該模型在多個文本生成任務中展現出一定的性能表現。

📄 許可證

本模型使用的許可證為 llama3.1。

📚 詳細文檔

模型信息

屬性	詳情
庫名稱	transformers
標籤	mergekit、merge
基礎模型	Nexesenex/Llama_3.1_8b_Smarteaz_0.21_R1、Nexesenex/Llama_3.1_8b_Smarteaz_0.11a、Nexesenex/Llama_3.1_8b_Smarteaz_0.21_SN
模型名稱	Llama_3.1_8b_Smarteaz_V1.01

模型評估結果

本模型在多個文本生成任務上進行了評估，具體結果如下：

任務類型	數據集名稱	評估指標	指標值	來源
文本生成	IFEval (0-Shot)	strict accuracy	81.51	Open LLM Leaderboard
文本生成	BBH (3-Shot)	normalized accuracy	32.28	Open LLM Leaderboard
文本生成	MATH Lvl 5 (4-Shot)	exact match	23.41	Open LLM Leaderboard
文本生成	GPQA (0-shot)	acc_norm	7.94	Open LLM Leaderboard
文本生成	MuSR (0-shot)	acc_norm	8.2	Open LLM Leaderboard
文本生成	MMLU-PRO (5-shot)	accuracy	30.4	Open LLM Leaderboard

詳細結果可查看此處。

模型合併詳情

合併方法

本模型採用 Model Stock 合併方法，以 Nexesenex/Llama_3.1_8b_Smarteaz_0.11a 為基礎模型進行合併。

合併模型

合併過程中包含以下模型：

配置文件

以下是用於生成此模型的 YAML 配置：

merge_method: model_stock
models:
  - model: Nexesenex/Llama_3.1_8b_Smarteaz_0.21_R1
    parameters:
      weight: 1.0
  - model: Nexesenex/Llama_3.1_8b_Smarteaz_0.21_SN
    parameters:
      weight: 1.0
base_model: Nexesenex/Llama_3.1_8b_Smarteaz_0.11a
dtype: bfloat16
normalize: true
chat_template: auto
tokenizer:
  source: union