%20--%3e%3cdefs%3e%3cstyle%3e%20.st0%20{%20fill:%20%23061b40;%20}%20.st1%20{%20fill:%20%23306af1;%20}%20.st2%20{%20fill:%20%235ce5cf;%20}%20%3c/style%3e%3c/defs%3e%3cg%3e%3cpath%20class='st0'%20d='M55,10.5h9v3h-9v9h12V7.5h-12v3ZM64,19.5h-6v-3h6v3Z'/%3e%3cpolygon%20class='st0'%20points='69%2016.5%2078%2016.5%2078%2019.5%2069%2019.5%2069%2022.5%2081%2022.5%2081%2013.5%2072%2013.5%2072%2010.5%2081%2010.5%2081%207.5%2069%207.5%2069%2016.5'/%3e%3cpolygon%20class='st0'%20points='95%2010.5%2095%207.5%2083%207.5%2083%2022.5%2095%2022.5%2095%2019.5%2086%2019.5%2086%2016.5%2095%2016.5%2095%2013.5%2086%2013.5%2086%2010.5%2095%2010.5'/%3e%3cpath%20class='st0'%20d='M40,1.5v21h11.6l1.4-1.4v-7.6h0c0,0-1.4-1.5-1.4-1.5l1.4-1.4V2.9l-1.4-1.4h-11.6ZM50,19.5h-7v-6h7v6ZM50,10.5h-7v-6h7v6Z'/%3e%3c/g%3e%3cpath%20class='st1'%20d='M23.1,24L14.7,4.8l-4.9,11.2h3.8l-1.8,4H3.3L12.1,0H2C.9,0,0,.9,0,2v20c0,1.1.9,2,2,2h21.1Z'/%3e%3cpath%20class='st2'%20d='M34,0h-16.8l10.6,24h6.2c1.1,0,2-.9,2-2V2C36,.9,35.1,0,34,0ZM32.5,20h-4V4h4v16Z'/%3e%3c/svg%3e)
ZH
ZYH LLM Qwen2.5 14B V4
ZYH-LLM-Qwen2.5-14B-V4是基于Qwen2.5-14B改进的大语言模型，通过多阶段模型合并和蒸馏技术提升了计算准确性和推理能力。
下载量 1,235
发布时间 : 3/12/2025
模型简介
该模型在保持指令跟随能力和通用能力的同时，通过增加R1蒸馏模型比例提升了计算准确性和推理能力，适用于多种自然语言处理任务。
模型特点
多阶段模型合并
采用多阶段合并策略，结合不同指令模型和代码模型的优势
增强推理能力
通过增加R1蒸馏模型比例显著提升计算准确性和推理能力
长上下文支持
支持100万令牌的长上下文处理能力
指令跟随
保持优秀的指令跟随能力和通用性
模型能力
文本生成
数学计算
代码理解与生成
复杂推理
长文本处理
多轮对话
使用案例
教育
数学问题解答
解决复杂数学问题和计算
在MATH Lvl 5测试中获得53.93分
编程
代码生成与解释
生成和解释编程代码
研究
科学问题解答
回答专业领域的科学问题
在GPQA测试中获得8.61分
🚀 ZYH-LLM-Qwen2.5-14B-V4
ZYH-LLM-Qwen2.5-14B-V4模型在保持指令跟随能力和通用能力的同时，增加了R1蒸馏模型在模型合并配方中的比例，提升了计算准确性和推理能力。
🚀 快速开始
升级版本
模型合并模板
merge_method: model_stock
base_model: Instruction Model
models:
- model: Instruction Fine-tuning Model 1
- model: Instruction Fine-tuning Model 2
- model: Inference Fine-tuning Model 1
- model: Inference Fine-tuning Model 2
dtype: bfloat16
tokenizer_source: base
int8_mask: true
normalize: true
使用上述模板进行合并，可以在不降低指令模型通用能力的前提下，提高模型的计算准确性和推理能力。
ZYH-LLM-Qwen2.5-V4在模型合并过程中使用了此模板。
开放大语言模型排行榜评估结果
详细结果可查看此处
| 指标 | 值 |
|---|---|
| 平均值 | 43.14 |
| IFEval (0-Shot) | 83.65 |
| BBH (3-Shot) | 50.27 |
| MATH Lvl 5 (4-Shot) | 53.93 |
| GPQA (0-shot) | 8.61 |
| MuSR (0-shot) | 15.66 |
| MMLU-PRO (5-shot) | 46.71 |
✨ 主要特性
模型合并阶段
第一阶段：创建四个不同的指令模型和代码模型
models:
- model: Qwen/Qwen2.5-14B-Instruct
parameters:
density: 1
weight: 1
lambda: 0.9
- model: Qwen/Qwen2.5-14B-Instruct-1M
parameters:
density: 1
weight: 1
lambda: 0.9
merge_method: della
base_model: Qwen/Qwen2.5-14B
parameters:
density: 1
weight: 1
lambda: 0.9
normalize: true
int8_mask: true
dtype: bfloat16
tokenizer_source: base
name: Qwen2.5-14B-della-base
models:
- model: Qwen/Qwen2.5-14B-Instruct
parameters:
density: 1
weight: 1
lambda: 0.9
- model: Qwen/Qwen2.5-14B-Instruct-1M
parameters:
density: 1
weight: 1
lambda: 0.9
merge_method: della
base_model: arcee-ai/Virtuoso-Small-v2
parameters:
density: 1
weight: 1
lambda: 0.9
normalize: true
int8_mask: true
dtype: bfloat16
tokenizer_source: base
name: Qwen2.5-14B-della-v2
models:
- model: Qwen/Qwen2.5-14B-Instruct
parameters:
density: 1
weight: 1
lambda: 0.9
- model: Qwen/Qwen2.5-14B-Instruct-1M
parameters:
density: 1
weight: 1
lambda: 0.9
merge_method: della
base_model: arcee-ai/SuperNova-Medius
parameters:
density: 1
weight: 1
lambda: 0.9
normalize: true
int8_mask: true
dtype: bfloat16
tokenizer_source: base
name: Qwen2.5-14B-della-Nova
models:
- model: Qwen/Qwen2.5-14B-Instruct
parameters:
density: 1
weight: 1
lambda: 0.9
- model: Qwen/Qwen2.5-14B-Instruct-1M
parameters:
density: 1
weight: 1
lambda: 0.9
merge_method: della
base_model: Azure99/Blossom-V6-14B
parameters:
density: 1
weight: 1
lambda: 0.9
normalize: true
int8_mask: true
dtype: bfloat16
tokenizer_source: base
name: Qwen2.5-14B-della-V6
models:
- model: Qwen/Qwen2.5-Coder-14B-Instruct
parameters:
density: 1
weight: 1
lambda: 0.9
merge_method: della
base_model: Qwen/Qwen2.5-Coder-14B
parameters:
density: 1
weight: 1
lambda: 0.9
normalize: true
int8_mask: true
dtype: bfloat16
tokenizer_source: base
name: Qwen2.5-Coder-14B-della
第二阶段
步骤1：使用模板创建三个偏向推理的指令模型
merge_method: model_stock
base_model: Qwen2.5-14B-della-base
models:
- model: Qwen2.5-Coder-14B-della
- model: Qwen2.5-14B-della-v2
- model: deepseek-ai/DeepSeek-R1-Distill-Qwen-14B
- model: huihui-ai/DeepSeek-R1-Distill-Qwen-14B-abliterated-v2
dtype: bfloat16
tokenizer_source: base
int8_mask: true
normalize: true
name: Qwen2.5-14B-mst-Coder
merge_method: model_stock
base_model: Qwen2.5-14B-della-base
models:
- model: Qwen2.5-14B-della-V6
- model: Qwen2.5-14B-della-v2
- model: deepseek-ai/DeepSeek-R1-Distill-Qwen-14B
- model: huihui-ai/DeepSeek-R1-Distill-Qwen-14B-abliterated-v2
dtype: bfloat16
tokenizer_source: base
int8_mask: true
normalize: true
name: Qwen2.5-14B-mst-V6
merge_method: model_stock
base_model: Qwen2.5-14B-della-base
models:
- model: Qwen2.5-14B-della-Nova
- model: Qwen2.5-14B-della-v2
- model: deepseek-ai/DeepSeek-R1-Distill-Qwen-14B
- model: huihui-ai/DeepSeek-R1-Distill-Qwen-14B-abliterated-v2
dtype: bfloat16
tokenizer_source: base
int8_mask: true
normalize: true
name: Qwen2.5-14B-mst-Nova
步骤2：创建一个纯指令模型以恢复最终模型的通用性
merge_method: model_stock
base_model: Qwen2.5-14B-della-base
models:
- model: Qwen2.5-14B-della-Nova
- model: Qwen2.5-14B-della-v2
- model: Qwen2.5-14B-della-V6
dtype: bfloat16
tokenizer_source: base
int8_mask: true
normalize: true
name: Qwen2.5-14B-mst-it
第三阶段：创建一个上下文为100万令牌的基础模型
merge_method: sce
models:
# Pivot model
- model: Qwen/Qwen2.5-14B-Instruct-1M
# Target models
- model: Qwen/Qwen2.5-14B
base_model: Qwen/Qwen2.5-14B-Instruct-1M
parameters:
select_topk: 1
dtype: bfloat16
tokenizer_source: base
normalize: true
int8_mask: true
name: Qwen2.5-14B-1M
models:
- model: Qwen/Qwen2.5-14B-Instruct
parameters:
density: 1
weight: 1
lambda: 0.9
- model: Qwen/Qwen2.5-14B-Instruct-1M
parameters:
density: 1
weight: 1
lambda: 0.9
merge_method: della
base_model: Qwen2.5-14B-1M
parameters:
density: 1
weight: 1
lambda: 0.9
normalize: true
int8_mask: true
dtype: bfloat16
tokenizer_source: base
name: Qwen2.5-14B-della-1M
最终阶段
merge_method: model_stock
base_model: Qwen2.5-14B-della-1M
models:
- model: Qwen2.5-14B-mst-Coder
- model: Qwen2.5-14B-mst-V6
- model: Qwen2.5-14B-mst-Nova
- model: Qwen2.5-14B-mst-it
dtype: bfloat16
tokenizer_source: base
int8_mask: true
normalize: true
name: ZYH-LLM-Qwen2.5-14B-V4
📄 许可证
本项目采用Apache 2.0许可证。
Phi 2 GGUF
其他
Phi-2是微软开发的一个小型但强大的语言模型，具有27亿参数，专注于高效推理和高质量文本生成。
大型语言模型 支持多种语言
P
TheBloke
41.5M
205
Roberta Large
MIT
基于掩码语言建模目标预训练的大型英语语言模型，采用改进的BERT训练方法
大型语言模型 英语
R
FacebookAI
19.4M
212
Distilbert Base Uncased
Apache-2.0
DistilBERT是BERT基础模型的蒸馏版本，在保持相近性能的同时更轻量高效，适用于序列分类、标记分类等自然语言处理任务。
大型语言模型 英语
D
distilbert
11.1M
669
Llama 3.1 8B Instruct GGUF
Meta Llama 3.1 8B Instruct 是一个多语言大语言模型，针对多语言对话用例进行了优化，在常见的行业基准测试中表现优异。
大型语言模型 英语
L
modularai
9.7M
4
Xlm Roberta Base
MIT
XLM-RoBERTa是基于100种语言的2.5TB过滤CommonCrawl数据预训练的多语言模型，采用掩码语言建模目标进行训练。
大型语言模型 支持多种语言
X
FacebookAI
9.6M
664
Roberta Base
MIT
基于Transformer架构的英语预训练模型，通过掩码语言建模目标在海量文本上训练，支持文本特征提取和下游任务微调
大型语言模型 英语
R
FacebookAI
9.3M
488
Opt 125m
其他
OPT是由Meta AI发布的开放预训练Transformer语言模型套件，参数量从1.25亿到1750亿，旨在对标GPT-3系列性能，同时促进大规模语言模型的开放研究。
大型语言模型 英语
O
facebook
6.3M
198
1
基于transformers库的预训练模型，适用于多种NLP任务
大型语言模型
Transformers
Transformers1
unslothai
6.2M
1
Llama 3.1 8B Instruct
Llama 3.1是Meta推出的多语言大语言模型系列，包含8B、70B和405B参数规模，支持8种语言和代码生成，优化了多语言对话场景。
大型语言模型 Transformers 支持多种语言
Transformers 支持多种语言L
meta-llama
5.7M
3,898
T5 Base
Apache-2.0
T5基础版是由Google开发的文本到文本转换Transformer模型，参数规模2.2亿，支持多语言NLP任务。
大型语言模型 支持多种语言
T
google-t5
5.4M
702
精选推荐AI模型
Llama 3 Typhoon V1.5x 8b Instruct
专为泰语设计的80亿参数指令模型，性能媲美GPT-3.5-turbo，优化了应用场景、检索增强生成、受限生成和推理任务
大型语言模型 Transformers 支持多种语言
Transformers 支持多种语言L
scb10x
3,269
16
Cadet Tiny
Openrail
Cadet-Tiny是一个基于SODA数据集训练的超小型对话模型，专为边缘设备推理设计，体积仅为Cosmo-3B模型的2%左右。
对话系统 Transformers 英语
Transformers 英语C
ToddGoldfarb
2,691
6
Roberta Base Chinese Extractive Qa
基于RoBERTa架构的中文抽取式问答模型，适用于从给定文本中提取答案的任务。
问答系统 中文
R
uer
2,694
98