🚀 易心蒸馏通义千问72B模型
易心蒸馏通义千问72B模型 是一款专为数学推理和通用知识任务打造的高性能蒸馏模型。它基于通义千问2.5-72B模型,通过强化学习技术优化而来。该模型运用先进的蒸馏技术,在保证计算效率的同时,显著提升了推理能力。在各类基准测试中,易心蒸馏通义千问72B模型表现卓越,相较于同类型的蒸馏模型,在关键的数学和通用推理任务中,平均提升了5至11个百分点。
🚀 快速开始
from transformers import AutoModelForCausalLM, AutoTokenizer
model_name = "YiXin-AILab/YiXin-Distill-Qwen-72B"
model = AutoModelForCausalLM.from_pretrained(
model_name,
torch_dtype="auto",
device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained(model_name)
prompt = "8+8=?"
messages = [
{"role": "system", "content": "You are a helpful and harmless assistant. You are Qwen developed by Alibaba. You should think step-by-step."},
{"role": "user", "content": prompt}
]
text = tokenizer.apply_chat_template(
messages,
tokenize=False,
add_generation_prompt=True
)
model_inputs = tokenizer([text], return_tensors="pt").to(model.device)
generated_ids = model.generate(
**model_inputs,
max_new_tokens=512
)
generated_ids = [
output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]
response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]
✨ 主要特性
- 高性能推理:在数学推理和通用知识任务中表现出色,相比同类型蒸馏模型有显著提升。
- 高效计算:采用先进蒸馏技术,在提升推理能力的同时保持计算效率。
- 数据驱动:基于精心筛选的高质量数据集进行训练,确保模型性能。
📦 安装指南
文档未提及安装步骤,暂不展示。
💻 使用示例
基础用法
from transformers import AutoModelForCausalLM, AutoTokenizer
model_name = "YiXin-AILab/YiXin-Distill-Qwen-72B"
model = AutoModelForCausalLM.from_pretrained(
model_name,
torch_dtype="auto",
device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained(model_name)
prompt = "8+8=?"
messages = [
{"role": "system", "content": "You are a helpful and harmless assistant. You are Qwen developed by Alibaba. You should think step-by-step."},
{"role": "user", "content": prompt}
]
text = tokenizer.apply_chat_template(
messages,
tokenize=False,
add_generation_prompt=True
)
model_inputs = tokenizer([text], return_tensors="pt").to(model.device)
generated_ids = model.generate(
**model_inputs,
max_new_tokens=512
)
generated_ids = [
output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]
response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]
高级用法
文档未提及高级用法示例,暂不展示。
📚 详细文档
模型概述
易心蒸馏通义千问72B模型是基于通义千问2.5-72B模型,通过强化学习技术优化而来。它专为数学推理和通用知识任务进行了优化,利用先进的蒸馏技术,在保证计算效率的同时,提升了推理能力。在各类基准测试中,该模型表现卓越,相比同类型的蒸馏模型有显著提升。
训练详情
数据收集与处理
易心蒸馏通义千问72B模型在精心筛选的高质量数据集上进行训练,以提高数学推理和通用知识理解能力。数据处理流程采用多阶段结构化方法,以确保模型性能的同时减少噪声。
- 数据集整合:基于现有的高质量开源数据集构建,涵盖数学和通用知识等多个领域。
- 数据过滤与质量评估:采用DeepSeek-R1作为大语言模型评判器,对数据质量进行评估。评估标准包括难度级别、答案验证、质量评分和响应长度分析等。
- 验证与优化:对于主观答案,使用基于大语言模型的评判器验证响应质量和相关性。数学内容进行额外的验证程序,确保答案和解决方案的正确性。
蒸馏过程
易心蒸馏通义千问72B模型采用渐进式两阶段蒸馏方法,通过智能数据选择和优化迭代改进模型性能。训练框架不断识别和去除高置信度样本,以减少过拟合,同时迭代优化低置信度样本,加强薄弱推理模式。通过多次微调循环和质量评估,模型在数学和通用推理基准测试中实现了效率和准确性的平衡提升。
评估结果
易心蒸馏通义千问72B模型在数学推理和通用知识任务中与多个模型进行了基准测试,包括QwQ-32B、DeepSeek-R1-Distill-Qwen-32B、DeepSeek-R1-Distill-Llama-70B和DeepSeek-R1。

指标 |
QwQ-32B |
DeepSeek-R1-Distill-Qwen-32B |
DeepSeek-R1-Distill-Llama-70B |
DeepSeek-R1 |
易心蒸馏通义千问72B |
MATH-500 |
96.2 |
91.2 |
94.0 |
94.4 |
97.0 |
GPQA-Diamond |
62.6 |
62.1 |
62.6 |
74.8 |
69.2 |
AIME-24 |
73.3 |
66.7 |
70.0 |
80.0 |
76.7 |
AIME-25 |
63.3 |
60.0 |
46.7 |
63.3 |
73.3 |
MMLU-Pro |
86.2 |
78.3 |
80.3 |
92.4 |
92.6 |
平均 |
76.3 |
71.7 |
70.7 |
81.0 |
81.8 |
局限性
尽管易心蒸馏通义千问72B模型表现出色,但仍存在一定的局限性:
- 潜在安全问题:可能容易受到对抗攻击、提示注入和数据泄露的影响。建议在敏感部署中采取适当的安全措施。
- 领域特定偏差:在不同领域的性能可能会有所差异,特别是在训练数据中代表性不足的领域。
- 蒸馏过程中的潜在损失:在蒸馏过程中,教师模型的一些细微推理能力可能会降低。
🔧 技术细节
- 模型类型:基于通义千问2.5-72B的蒸馏模型
- 训练数据:精心筛选的高质量数据集,涵盖数学和通用知识等多个领域
- 蒸馏方法:渐进式两阶段蒸馏方法,通过智能数据选择和优化迭代改进模型性能
属性 |
详情 |
模型类型 |
基于通义千问2.5 - 72B的蒸馏模型 |
训练数据 |
精心筛选的高质量数据集,涵盖数学和通用知识等多个领域 |
📄 许可证
本模型采用Apache-2.0许可证。
📖 引用
如果您在研究中使用了易心蒸馏通义千问72B模型,请适当引用以下文献:
@misc{yixindistillqwen-72b,
title={YiXin-Distill-Qwen-72B: A High-Performance Distilled Model for Mathematical and General Reasoning},
author={YiXin-AILab},
year={2025},
url={https://huggingface.co/YiXin-AILab/YiXin-Distill-Qwen-72B}
}
🙏 致谢
感谢开源社区和研究人员对通义千问和DeepSeek模型的开发和维护。他们的工作极大地推动了大语言模型蒸馏和推理能力的发展。