Yixin Distill Qwen 72B 4.5bpw H6 Exl2

🚀 易心蒸餾通義千問72B模型

易心蒸餾通義千問72B模型 是一款專為數學推理和通用知識任務打造的高性能蒸餾模型。它基於通義千問2.5-72B模型，通過強化學習技術優化而來。該模型運用先進的蒸餾技術，在保證計算效率的同時，顯著提升了推理能力。在各類基準測試中，易心蒸餾通義千問72B模型表現卓越，相較於同類型的蒸餾模型，在關鍵的數學和通用推理任務中，平均提升了5至11個百分點。

🚀 快速開始

from transformers import AutoModelForCausalLM, AutoTokenizer
model_name = "YiXin-AILab/YiXin-Distill-Qwen-72B"
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype="auto",
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained(model_name)
prompt = "8+8=?"
messages = [
    {"role": "system", "content": "You are a helpful and harmless assistant. You are Qwen developed by Alibaba. You should think step-by-step."},
    {"role": "user", "content": prompt}
]
text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)
model_inputs = tokenizer([text], return_tensors="pt").to(model.device)
generated_ids = model.generate(
    **model_inputs,
    max_new_tokens=512
)
generated_ids = [
    output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]
response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]

✨ 主要特性

• 高性能推理：在數學推理和通用知識任務中表現出色，相比同類型蒸餾模型有顯著提升。
• 高效計算：採用先進蒸餾技術，在提升推理能力的同時保持計算效率。
• 數據驅動：基於精心篩選的高質量數據集進行訓練，確保模型性能。

📦 安裝指南

文檔未提及安裝步驟，暫不展示。

💻 使用示例

基礎用法

from transformers import AutoModelForCausalLM, AutoTokenizer
model_name = "YiXin-AILab/YiXin-Distill-Qwen-72B"
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype="auto",
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained(model_name)
prompt = "8+8=?"
messages = [
    {"role": "system", "content": "You are a helpful and harmless assistant. You are Qwen developed by Alibaba. You should think step-by-step."},
    {"role": "user", "content": prompt}
]
text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)
model_inputs = tokenizer([text], return_tensors="pt").to(model.device)
generated_ids = model.generate(
    **model_inputs,
    max_new_tokens=512
)
generated_ids = [
    output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]
response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]

高級用法

文檔未提及高級用法示例，暫不展示。

📚 詳細文檔

模型概述

易心蒸餾通義千問72B模型是基於通義千問2.5-72B模型，通過強化學習技術優化而來。它專為數學推理和通用知識任務進行了優化，利用先進的蒸餾技術，在保證計算效率的同時，提升了推理能力。在各類基準測試中，該模型表現卓越，相比同類型的蒸餾模型有顯著提升。

訓練詳情

數據收集與處理

易心蒸餾通義千問72B模型在精心篩選的高質量數據集上進行訓練，以提高數學推理和通用知識理解能力。數據處理流程採用多階段結構化方法，以確保模型性能的同時減少噪聲。

• 數據集整合：基於現有的高質量開源數據集構建，涵蓋數學和通用知識等多個領域。
• 數據過濾與質量評估：採用DeepSeek-R1作為大語言模型評判器，對數據質量進行評估。評估標準包括難度級別、答案驗證、質量評分和響應長度分析等。
• 驗證與優化：對於主觀答案，使用基於大語言模型的評判器驗證響應質量和相關性。數學內容進行額外的驗證程序，確保答案和解決方案的正確性。

蒸餾過程

易心蒸餾通義千問72B模型採用漸進式兩階段蒸餾方法，通過智能數據選擇和優化迭代改進模型性能。訓練框架不斷識別和去除高置信度樣本，以減少過擬合，同時迭代優化低置信度樣本，加強薄弱推理模式。通過多次微調循環和質量評估，模型在數學和通用推理基準測試中實現了效率和準確性的平衡提升。

評估結果

易心蒸餾通義千問72B模型在數學推理和通用知識任務中與多個模型進行了基準測試，包括QwQ-32B、DeepSeek-R1-Distill-Qwen-32B、DeepSeek-R1-Distill-Llama-70B和DeepSeek-R1。

侷限性

儘管易心蒸餾通義千問72B模型表現出色，但仍存在一定的侷限性：

• 潛在安全問題：可能容易受到對抗攻擊、提示注入和數據洩露的影響。建議在敏感部署中採取適當的安全措施。
• 領域特定偏差：在不同領域的性能可能會有所差異，特別是在訓練數據中代表性不足的領域。
• 蒸餾過程中的潛在損失：在蒸餾過程中，教師模型的一些細微推理能力可能會降低。

🔧 技術細節

• 模型類型：基於通義千問2.5-72B的蒸餾模型
• 訓練數據：精心篩選的高質量數據集，涵蓋數學和通用知識等多個領域
• 蒸餾方法：漸進式兩階段蒸餾方法，通過智能數據選擇和優化迭代改進模型性能

📄 許可證

本模型採用Apache-2.0許可證。

📖 引用

如果您在研究中使用了易心蒸餾通義千問72B模型，請適當引用以下文獻：

@misc{yixindistillqwen-72b,
  title={YiXin-Distill-Qwen-72B: A High-Performance Distilled Model for Mathematical and General Reasoning},
  author={YiXin-AILab},
  year={2025},
  url={https://huggingface.co/YiXin-AILab/YiXin-Distill-Qwen-72B}
}

🙏 致謝

感謝開源社區和研究人員對通義千問和DeepSeek模型的開發和維護。他們的工作極大地推動了大語言模型蒸餾和推理能力的發展。