Yixin Distill Qwen 72B 4.5bpw H6 Exl2

🚀 易心蒸馏通义千问72B模型

易心蒸馏通义千问72B模型 是一款专为数学推理和通用知识任务打造的高性能蒸馏模型。它基于通义千问2.5-72B模型，通过强化学习技术优化而来。该模型运用先进的蒸馏技术，在保证计算效率的同时，显著提升了推理能力。在各类基准测试中，易心蒸馏通义千问72B模型表现卓越，相较于同类型的蒸馏模型，在关键的数学和通用推理任务中，平均提升了5至11个百分点。

🚀 快速开始

from transformers import AutoModelForCausalLM, AutoTokenizer
model_name = "YiXin-AILab/YiXin-Distill-Qwen-72B"
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype="auto",
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained(model_name)
prompt = "8+8=?"
messages = [
    {"role": "system", "content": "You are a helpful and harmless assistant. You are Qwen developed by Alibaba. You should think step-by-step."},
    {"role": "user", "content": prompt}
]
text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)
model_inputs = tokenizer([text], return_tensors="pt").to(model.device)
generated_ids = model.generate(
    **model_inputs,
    max_new_tokens=512
)
generated_ids = [
    output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]
response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]

✨ 主要特性

• 高性能推理：在数学推理和通用知识任务中表现出色，相比同类型蒸馏模型有显著提升。
• 高效计算：采用先进蒸馏技术，在提升推理能力的同时保持计算效率。
• 数据驱动：基于精心筛选的高质量数据集进行训练，确保模型性能。

📦 安装指南

文档未提及安装步骤，暂不展示。

💻 使用示例

基础用法

from transformers import AutoModelForCausalLM, AutoTokenizer
model_name = "YiXin-AILab/YiXin-Distill-Qwen-72B"
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype="auto",
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained(model_name)
prompt = "8+8=?"
messages = [
    {"role": "system", "content": "You are a helpful and harmless assistant. You are Qwen developed by Alibaba. You should think step-by-step."},
    {"role": "user", "content": prompt}
]
text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)
model_inputs = tokenizer([text], return_tensors="pt").to(model.device)
generated_ids = model.generate(
    **model_inputs,
    max_new_tokens=512
)
generated_ids = [
    output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]
response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]

高级用法

文档未提及高级用法示例，暂不展示。

📚 详细文档

模型概述

易心蒸馏通义千问72B模型是基于通义千问2.5-72B模型，通过强化学习技术优化而来。它专为数学推理和通用知识任务进行了优化，利用先进的蒸馏技术，在保证计算效率的同时，提升了推理能力。在各类基准测试中，该模型表现卓越，相比同类型的蒸馏模型有显著提升。

训练详情

数据收集与处理

易心蒸馏通义千问72B模型在精心筛选的高质量数据集上进行训练，以提高数学推理和通用知识理解能力。数据处理流程采用多阶段结构化方法，以确保模型性能的同时减少噪声。

• 数据集整合：基于现有的高质量开源数据集构建，涵盖数学和通用知识等多个领域。
• 数据过滤与质量评估：采用DeepSeek-R1作为大语言模型评判器，对数据质量进行评估。评估标准包括难度级别、答案验证、质量评分和响应长度分析等。
• 验证与优化：对于主观答案，使用基于大语言模型的评判器验证响应质量和相关性。数学内容进行额外的验证程序，确保答案和解决方案的正确性。

蒸馏过程

易心蒸馏通义千问72B模型采用渐进式两阶段蒸馏方法，通过智能数据选择和优化迭代改进模型性能。训练框架不断识别和去除高置信度样本，以减少过拟合，同时迭代优化低置信度样本，加强薄弱推理模式。通过多次微调循环和质量评估，模型在数学和通用推理基准测试中实现了效率和准确性的平衡提升。

评估结果

易心蒸馏通义千问72B模型在数学推理和通用知识任务中与多个模型进行了基准测试，包括QwQ-32B、DeepSeek-R1-Distill-Qwen-32B、DeepSeek-R1-Distill-Llama-70B和DeepSeek-R1。

局限性

尽管易心蒸馏通义千问72B模型表现出色，但仍存在一定的局限性：

• 潜在安全问题：可能容易受到对抗攻击、提示注入和数据泄露的影响。建议在敏感部署中采取适当的安全措施。
• 领域特定偏差：在不同领域的性能可能会有所差异，特别是在训练数据中代表性不足的领域。
• 蒸馏过程中的潜在损失：在蒸馏过程中，教师模型的一些细微推理能力可能会降低。

🔧 技术细节

• 模型类型：基于通义千问2.5-72B的蒸馏模型
• 训练数据：精心筛选的高质量数据集，涵盖数学和通用知识等多个领域
• 蒸馏方法：渐进式两阶段蒸馏方法，通过智能数据选择和优化迭代改进模型性能

📄 许可证

本模型采用Apache-2.0许可证。

📖 引用

如果您在研究中使用了易心蒸馏通义千问72B模型，请适当引用以下文献：

@misc{yixindistillqwen-72b,
  title={YiXin-Distill-Qwen-72B: A High-Performance Distilled Model for Mathematical and General Reasoning},
  author={YiXin-AILab},
  year={2025},
  url={https://huggingface.co/YiXin-AILab/YiXin-Distill-Qwen-72B}
}

🙏 致谢

感谢开源社区和研究人员对通义千问和DeepSeek模型的开发和维护。他们的工作极大地推动了大语言模型蒸馏和推理能力的发展。