🚀 易心蒸餾通義千問72B模型
易心蒸餾通義千問72B模型 是一款專為數學推理和通用知識任務打造的高性能蒸餾模型。它基於通義千問2.5-72B模型,通過強化學習技術優化而來。該模型運用先進的蒸餾技術,在保證計算效率的同時,顯著提升了推理能力。在各類基準測試中,易心蒸餾通義千問72B模型表現卓越,相較於同類型的蒸餾模型,在關鍵的數學和通用推理任務中,平均提升了5至11個百分點。
🚀 快速開始
from transformers import AutoModelForCausalLM, AutoTokenizer
model_name = "YiXin-AILab/YiXin-Distill-Qwen-72B"
model = AutoModelForCausalLM.from_pretrained(
model_name,
torch_dtype="auto",
device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained(model_name)
prompt = "8+8=?"
messages = [
{"role": "system", "content": "You are a helpful and harmless assistant. You are Qwen developed by Alibaba. You should think step-by-step."},
{"role": "user", "content": prompt}
]
text = tokenizer.apply_chat_template(
messages,
tokenize=False,
add_generation_prompt=True
)
model_inputs = tokenizer([text], return_tensors="pt").to(model.device)
generated_ids = model.generate(
**model_inputs,
max_new_tokens=512
)
generated_ids = [
output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]
response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]
✨ 主要特性
- 高性能推理:在數學推理和通用知識任務中表現出色,相比同類型蒸餾模型有顯著提升。
- 高效計算:採用先進蒸餾技術,在提升推理能力的同時保持計算效率。
- 數據驅動:基於精心篩選的高質量數據集進行訓練,確保模型性能。
📦 安裝指南
文檔未提及安裝步驟,暫不展示。
💻 使用示例
基礎用法
from transformers import AutoModelForCausalLM, AutoTokenizer
model_name = "YiXin-AILab/YiXin-Distill-Qwen-72B"
model = AutoModelForCausalLM.from_pretrained(
model_name,
torch_dtype="auto",
device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained(model_name)
prompt = "8+8=?"
messages = [
{"role": "system", "content": "You are a helpful and harmless assistant. You are Qwen developed by Alibaba. You should think step-by-step."},
{"role": "user", "content": prompt}
]
text = tokenizer.apply_chat_template(
messages,
tokenize=False,
add_generation_prompt=True
)
model_inputs = tokenizer([text], return_tensors="pt").to(model.device)
generated_ids = model.generate(
**model_inputs,
max_new_tokens=512
)
generated_ids = [
output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]
response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]
高級用法
文檔未提及高級用法示例,暫不展示。
📚 詳細文檔
模型概述
易心蒸餾通義千問72B模型是基於通義千問2.5-72B模型,通過強化學習技術優化而來。它專為數學推理和通用知識任務進行了優化,利用先進的蒸餾技術,在保證計算效率的同時,提升了推理能力。在各類基準測試中,該模型表現卓越,相比同類型的蒸餾模型有顯著提升。
訓練詳情
數據收集與處理
易心蒸餾通義千問72B模型在精心篩選的高質量數據集上進行訓練,以提高數學推理和通用知識理解能力。數據處理流程採用多階段結構化方法,以確保模型性能的同時減少噪聲。
- 數據集整合:基於現有的高質量開源數據集構建,涵蓋數學和通用知識等多個領域。
- 數據過濾與質量評估:採用DeepSeek-R1作為大語言模型評判器,對數據質量進行評估。評估標準包括難度級別、答案驗證、質量評分和響應長度分析等。
- 驗證與優化:對於主觀答案,使用基於大語言模型的評判器驗證響應質量和相關性。數學內容進行額外的驗證程序,確保答案和解決方案的正確性。
蒸餾過程
易心蒸餾通義千問72B模型採用漸進式兩階段蒸餾方法,通過智能數據選擇和優化迭代改進模型性能。訓練框架不斷識別和去除高置信度樣本,以減少過擬合,同時迭代優化低置信度樣本,加強薄弱推理模式。通過多次微調循環和質量評估,模型在數學和通用推理基準測試中實現了效率和準確性的平衡提升。
評估結果
易心蒸餾通義千問72B模型在數學推理和通用知識任務中與多個模型進行了基準測試,包括QwQ-32B、DeepSeek-R1-Distill-Qwen-32B、DeepSeek-R1-Distill-Llama-70B和DeepSeek-R1。

指標 |
QwQ-32B |
DeepSeek-R1-Distill-Qwen-32B |
DeepSeek-R1-Distill-Llama-70B |
DeepSeek-R1 |
易心蒸餾通義千問72B |
MATH-500 |
96.2 |
91.2 |
94.0 |
94.4 |
97.0 |
GPQA-Diamond |
62.6 |
62.1 |
62.6 |
74.8 |
69.2 |
AIME-24 |
73.3 |
66.7 |
70.0 |
80.0 |
76.7 |
AIME-25 |
63.3 |
60.0 |
46.7 |
63.3 |
73.3 |
MMLU-Pro |
86.2 |
78.3 |
80.3 |
92.4 |
92.6 |
平均 |
76.3 |
71.7 |
70.7 |
81.0 |
81.8 |
侷限性
儘管易心蒸餾通義千問72B模型表現出色,但仍存在一定的侷限性:
- 潛在安全問題:可能容易受到對抗攻擊、提示注入和數據洩露的影響。建議在敏感部署中採取適當的安全措施。
- 領域特定偏差:在不同領域的性能可能會有所差異,特別是在訓練數據中代表性不足的領域。
- 蒸餾過程中的潛在損失:在蒸餾過程中,教師模型的一些細微推理能力可能會降低。
🔧 技術細節
- 模型類型:基於通義千問2.5-72B的蒸餾模型
- 訓練數據:精心篩選的高質量數據集,涵蓋數學和通用知識等多個領域
- 蒸餾方法:漸進式兩階段蒸餾方法,通過智能數據選擇和優化迭代改進模型性能
屬性 |
詳情 |
模型類型 |
基於通義千問2.5 - 72B的蒸餾模型 |
訓練數據 |
精心篩選的高質量數據集,涵蓋數學和通用知識等多個領域 |
📄 許可證
本模型採用Apache-2.0許可證。
📖 引用
如果您在研究中使用了易心蒸餾通義千問72B模型,請適當引用以下文獻:
@misc{yixindistillqwen-72b,
title={YiXin-Distill-Qwen-72B: A High-Performance Distilled Model for Mathematical and General Reasoning},
author={YiXin-AILab},
year={2025},
url={https://huggingface.co/YiXin-AILab/YiXin-Distill-Qwen-72B}
}
🙏 致謝
感謝開源社區和研究人員對通義千問和DeepSeek模型的開發和維護。他們的工作極大地推動了大語言模型蒸餾和推理能力的發展。