Phi 4 Reasoning Plus Unsloth Bnb 4bit

🚀 ✨ 使用Unsloth运行并微调Phi - 4！

本项目旨在借助Unsloth工具，实现对Phi - 4模型的运行与微调，为语言模型研究提供助力。用户可以免费使用Google Colab进行Phi - 4 (14B)的微调，还能将微调后的模型导出到Ollama、llama.cpp或HF等平台。

🚀 快速开始

• 点击此处，使用Google Colab免费微调Phi - 4 (14B)。
• 阅读我们关于Phi - 4支持及错误修复的博客：unsloth.ai/blog/phi4。
• 在文档中查看其余的notebook。
• 运行并将微调后的模型导出到Ollama、llama.cpp或HF。

✨ 主要特性

• 多模型支持：支持Phi - 4 (14B)、Qwen3 (14B)、GRPO with Phi - 4 (14B)、Llama - 3.2 (3B)、Llama - 3.2 (11B vision)、Qwen2.5 (7B)等多种模型。
• 高性能：相比其他模型，具有更快的运行速度和更低的内存使用。例如，Phi - 4 (14B)的运行速度快2倍，内存使用减少50%。
• 免费使用：提供免费的Colab notebook进行模型微调。

📦 安装指南

文档未提及具体安装步骤，故跳过此章节。

💻 使用示例

基础用法

from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("microsoft/Phi-4-reasoning-plus")
model = AutoModelForCausalLM.from_pretrained("microsoft/Phi-4-reasoning-plus", device_map="auto", torch_dtype="auto")

messages = [
    {"role": "system", "content": "You are Phi, a language model trained by Microsoft to help users. Your role as an assistant involves thoroughly exploring questions through a systematic thinking process before providing the final precise and accurate solutions. This requires engaging in a comprehensive cycle of analysis, summarizing, exploration, reassessment, reflection, backtracing, and iteration to develop well-considered thinking process. Please structure your response into two main sections: Thought and Solution using the specified format: <think> {Thought section} </think> {Solution section}. In the Thought section, detail your reasoning process in steps. Each step should include detailed considerations such as analysing questions, summarizing relevant findings, brainstorming new ideas, verifying the accuracy of the current steps, refining any errors, and revisiting previous steps. In the Solution section, based on various attempts, explorations, and reflections from the Thought section, systematically present the final solution that you deem correct. The Solution section should be logical, accurate, and concise and detail necessary steps needed to reach the conclusion. Now, try to solve the following question through the above guidelines:"},
    {"role": "user", "content": "What is the derivative of x^2?"},
]
inputs = tokenizer.apply_chat_template(messages, tokenize=True, add_generation_prompt=True, return_tensors="pt")

outputs = model.generate(
    inputs.to(model.device),
    max_new_tokens=4096,
    temperature=0.8,
    top_p=0.95,
    do_sample=True,
)
print(tokenizer.decode(outputs[0]))

高级用法

vllm serve microsoft/Phi-4-reasoning-plus --enable-reasoning --reasoning-parser deepseek_r1

📚 详细文档

模型概述

预期用途

数据概述

训练数据集

我们的训练数据是数学、科学和编码领域的问答和聊天格式数据的混合。聊天提示来自经过过滤的高质量网络数据，并可选择通过合成数据生成管道进行重写和处理。我们还添加了提高真实性和安全性的数据。

基准数据集

我们使用开源的Eureka评估套件和我们自己的内部基准来评估Phi - 4 - reasoning - plus，以了解模型的能力。具体来说，我们在以下方面评估我们的模型：

• 推理任务：
  • AIME 2025、2024、2023和2022：数学奥林匹克问题。
  • GPQA - Diamond：复杂的研究生水平科学问题。
  • OmniMath：包含4000多个带人工注释的奥林匹克级数学问题的集合。
  • LiveCodeBench：从竞争性编码竞赛中收集的代码生成基准。
  • 3SAT（3 - 文字可满足性问题）和TSP（旅行商问题）：算法问题解决。
  • BA Calendar：规划。
  • Maze和SpatialMap：空间理解。
• 通用基准：
  • Kitab：信息检索。
  • IFEval和ArenaHard：指令跟随。
  • PhiBench：内部基准。
  • FlenQA：提示长度对模型性能的影响。
  • HumanEvalPlus：功能代码生成。
  • MMLU - Pro：流行的多任务语言理解聚合数据集。

安全性

方法

Phi - 4 - reasoning - plus通过监督微调（SFT）采用了强大的安全后训练方法。该方法利用了各种开源和内部生成的合成提示，以及符合严格Microsoft安全指南的LLM生成响应，例如用户理解和清晰度、安全和道德指南、限制、免责声明和知识范围、处理复杂和敏感主题、安全和尊重参与、指南的机密性和思维链的机密性。

安全评估和红队测试

在发布之前，Phi - 4 - reasoning - plus遵循了多方面的评估方法。定量评估使用多个开源安全基准和内部工具进行，利用对抗性对话模拟。对于定性安全评估，我们与Microsoft的独立AI红队（AIRT）合作，评估Phi - 4 - reasoning - plus在普通和对抗性用户场景中的安全风险。在普通用户场景中，AIRT模拟典型的单轮和多轮交互，以识别潜在的风险行为。在对抗性用户场景中，测试了各种旨在故意破坏模型安全训练的技术，包括基础性、越狱、有害内容（如仇恨和不公平、暴力、性内容或自我伤害）以及受保护材料的版权侵犯。我们还在Toxigen上评估模型，这是一个旨在衡量针对少数群体的偏见和毒性的基准。

请参考技术报告以获取有关安全对齐的更多详细信息。

模型质量

以下是模型在代表性基准上的质量概述。在以下表格中，数值越高表示性能越好：

总体而言，Phi - 4 - reasoning和Phi - 4 - reasoning - plus仅具有14B参数，但在广泛的推理任务中表现出色，显著优于一些更大的开放权重模型，如DeepSeek - R1蒸馏70B模型，并接近完整DeepSeek R1模型的性能水平。我们还在多个新的推理基准上测试了这些模型，包括3SAT、TSP和BA - Calendar。这些新任务对于模型来说名义上是域外任务，因为训练过程并未有意针对这些技能，但模型仍然对这些任务表现出强大的泛化能力。此外，在针对标准通用能力基准（如指令跟随或非推理任务）评估性能时，我们发现我们的新模型相比Phi - 4有显著改进，尽管后训练主要集中在特定领域的推理技能上。

使用说明

推理参数

使用temperature = 0.8、top_p = 0.95和do_sample = True进行推理效果更佳。对于更复杂的查询，将最大令牌数设置为32k，以允许更长的思维链（CoT）。

Phi - 4 - reasoning - plus在推理密集型任务中表现出色。在我们的实验中，我们将其最大令牌数扩展到64k，它在处理更长序列时取得了有希望的结果，在扩展输入上保持了连贯性和逻辑一致性。这使其成为需要深度、多步推理或广泛上下文的任务的有吸引力的选择。

输入格式

鉴于训练数据的性质，推理时始终使用ChatML模板和以下系统提示：

<|im_start|>system<|im_sep|>
Your role as an assistant involves thoroughly exploring questions through a systematic thinking process before providing the final precise and accurate solutions. This requires engaging in a comprehensive cycle of analysis, summarizing, exploration, reassessment, reflection, backtracing, and iteration to develop well-considered thinking process. Please structure your response into two main sections: Thought and Solution using the specified format: <think> {Thought section} <\think> {Solution section}. In the Thought section, detail your reasoning process in steps. Each step should include detailed considerations such as analysing questions, summarizing relevant findings, brainstorming new ideas, verifying the accuracy of the current steps, refining any errors, and revisiting previous steps. In the Solution section, based on various attempts, explorations, and reflections from the Thought section, systematically present the final solution that you deem correct. The Solution section should be logical, accurate, and concise and detail necessary steps needed to reach the conclusion. Now, try to solve the following question through the above guidelines:<|im_end|>
<|im_start|>user<|im_sep|>
What is the derivative of x^2?<|im_end|>
<|im_start|>assistant<|im_sep|>

🔧 技术细节

文档未提供足够的技术实现细节（具体说明少于50字），故跳过此章节。

📄 许可证

本项目采用MIT许可证，详情请见此处。