Phi 4 Reasoning Unsloth Bnb 4bit

🚀 Phi-4-reasoning模型卡片

Phi-4-reasoning是一款經過微調的先進推理模型，它基於Phi-4，通過監督微調與強化學習，在特定數據集上進行訓練，專注於提升數學、科學和編碼等方面的推理能力，為生成式AI功能提供了強大的構建模塊。

🚀 快速開始

本模型適用於加速語言模型研究，可作為生成式AI功能的構建模塊。若要使用該模型進行推理，可參考以下內容。

推理參數

推理時，建議設置temperature=0.8，top_p=0.95，並將do_sample設為True。對於更復雜的查詢，可將最大令牌數設置為32k，以支持更長的思維鏈（CoT）。

輸入格式

鑑於訓練數據的性質，推理時請始終使用ChatML模板，並搭配以下系統提示：

<|im_start|>system<|im_sep|>
Your role as an assistant involves thoroughly exploring questions through a systematic thinking process before providing the final precise and accurate solutions. This requires engaging in a comprehensive cycle of analysis, summarizing, exploration, reassessment, reflection, backtracing, and iteration to develop well-considered thinking process. Please structure your response into two main sections: Thought and Solution using the specified format: <think> {Thought section} <\think> {Solution section}. In the Thought section, detail your reasoning process in steps. Each step should include detailed considerations such as analysing questions, summarizing relevant findings, brainstorming new ideas, verifying the accuracy of the current steps, refining any errors, and revisiting previous steps. In the Solution section, based on various attempts, explorations, and reflections from the Thought section, systematically present the final solution that you deem correct. The Solution section should be logical, accurate, and concise and detail necessary steps needed to reach the conclusion. Now, try to solve the following question through the above guidelines:<|im_end|>
<|im_start|>user<|im_sep|>
What is the derivative of x^2?<|im_end|>
<|im_start|>assistant<|im_sep|>

使用transformers庫

from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("microsoft/Phi-4-reasoning")
model = AutoModelForCausalLM.from_pretrained("microsoft/Phi-4-reasoning", device_map="auto", torch_dtype="auto")

messages = [
    {"role": "system", "content": "You are Phi, a language model trained by Microsoft to help users. Your role as an assistant involves thoroughly exploring questions through a systematic thinking process before providing the final precise and accurate solutions. This requires engaging in a comprehensive cycle of analysis, summarizing, exploration, reassessment, reflection, backtracing, and iteration to develop well-considered thinking process. Please structure your response into two main sections: Thought and Solution using the specified format: <think> {Thought section} </think> {Solution section}. In the Thought section, detail your reasoning process in steps. Each step should include detailed considerations such as analysing questions, summarizing relevant findings, brainstorming new ideas, verifying the accuracy of the current steps, refining any errors, and revisiting previous steps. In the Solution section, based on various attempts, explorations, and reflections from the Thought section, systematically present the final solution that you deem correct. The Solution section should be logical, accurate, and concise and detail necessary steps needed to reach the conclusion. Now, try to solve the following question through the above guidelines:"},
    {"role": "user", "content": "What is the derivative of x^2?"},
]
inputs = tokenizer.apply_chat_template(messages, tokenize=True, add_generation_prompt=True, return_tensors="pt")

outputs = model.generate(
    inputs.to(model.device),
    max_new_tokens=4096,
    temperature=0.8,
    top_p=0.95,
    do_sample=True,
)
print(tokenizer.decode(outputs[0]))

使用vllm庫

vllm serve microsoft/Phi-4-reasoning --enable-reasoning --reasoning-parser deepseek_r1

Phi-4-reasoning也可直接在Ollama、llama.cpp和任何與Phi-4兼容的框架中使用。

✨ 主要特性

• 先進的推理能力：Phi-4-reasoning是一款先進的開放權重推理模型，通過監督微調在思維鏈痕跡數據集上進行訓練，並結合強化學習，專注於提升數學、科學和編碼等方面的推理能力。
• 高效的架構設計：基於先前發佈的Phi-4基礎模型，擁有14B參數，採用密集的僅解碼器Transformer架構。
• 長上下文處理能力：支持32k令牌的上下文長度，能夠處理複雜的輸入。
• 廣泛的評估驗證：在多個開源和內部基準測試中進行了評估，包括數學奧林匹克問題、代碼生成、算法問題解決等，展示了出色的性能。

📦 安裝指南

文檔未提及安裝步驟，故跳過此章節。

💻 使用示例

基礎用法

使用transformers庫進行推理的基礎示例：

from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("microsoft/Phi-4-reasoning")
model = AutoModelForCausalLM.from_pretrained("microsoft/Phi-4-reasoning", device_map="auto", torch_dtype="auto")

messages = [
    {"role": "system", "content": "You are Phi, a language model trained by Microsoft to help users. Your role as an assistant involves thoroughly exploring questions through a systematic thinking process before providing the final precise and accurate solutions. This requires engaging in a comprehensive cycle of analysis, summarizing, exploration, reassessment, reflection, backtracing, and iteration to develop well-considered thinking process. Please structure your response into two main sections: Thought and Solution using the specified format: <think> {Thought section} </think> {Solution section}. In the Thought section, detail your reasoning process in steps. Each step should include detailed considerations such as analysing questions, summarizing relevant findings, brainstorming new ideas, verifying the accuracy of the current steps, refining any errors, and revisiting previous steps. In the Solution section, based on various attempts, explorations, and reflections from the Thought section, systematically present the final solution that you deem correct. The Solution section should be logical, accurate, and concise and detail necessary steps needed to reach the conclusion. Now, try to solve the following question through the above guidelines:"},
    {"role": "user", "content": "What is the derivative of x^2?"},
]
inputs = tokenizer.apply_chat_template(messages, tokenize=True, add_generation_prompt=True, return_tensors="pt")

outputs = model.generate(
    inputs.to(model.device),
    max_new_tokens=4096,
    temperature=0.8,
    top_p=0.95,
    do_sample=True,
)
print(tokenizer.decode(outputs[0]))

高級用法

使用vllm庫進行推理的高級示例：

vllm serve microsoft/Phi-4-reasoning --enable-reasoning --reasoning-parser deepseek_r1

📚 詳細文檔

模型概述

預期用途

數據概述

訓練數據集

訓練數據包括數學、科學和編碼領域的問答和聊天格式數據。聊天提示來自過濾後的高質量網絡數據，並可通過合成數據生成管道進行重寫和處理。此外，還包括提高真實性和安全性的數據。

基準數據集

使用開源的Eureka評估套件和內部基準測試對Phi-4-reasoning進行評估，具體包括：

• 推理任務：AIME 2025、2024、2023和2022數學奧林匹克問題、GPQA-Diamond複雜科學問題、OmniMath奧林匹克級數學問題集、LiveCodeBench代碼生成基準、3SAT和TSP算法問題解決、BA Calendar規劃、Maze和SpatialMap空間理解。
• 通用基準：Kitab信息檢索、IFEval和ArenaHard指令遵循、PhiBench內部基準、FlenQA提示長度對模型性能的影響、HumanEvalPlus功能代碼生成、MMLU-Pro多任務語言理解聚合數據集。

安全性

方法

Phi-4-reasoning採用了強大的安全後訓練方法，通過監督微調（SFT），利用多種開源和內部生成的合成提示，以及遵循嚴格Microsoft安全指南的LLM生成響應。

安全評估和紅隊測試

在發佈前，Phi-4-reasoning採用了多方面的評估方法。通過多個開源安全基準和內部工具進行定量評估，利用對抗性對話模擬。與Microsoft的獨立AI紅隊（AIRT）合作進行定性安全評估，評估在平均和對抗性用戶場景下的安全風險。還在Toxigen基準上評估模型的偏差和毒性。

模型質量

在代表性基準上的模型質量概述：

總體而言，Phi-4-reasoning僅擁有14B參數，在廣泛的推理任務中表現出色，顯著優於更大的開放權重模型，如DeepSeek-R1蒸餾70B模型，並接近完整的DeepSeek R1模型的性能水平。

負責任AI考慮因素

與其他語言模型一樣，Phi-4-reasoning可能存在不公平、不可靠或冒犯性的行為。開發者應應用負責任AI最佳實踐，並確保特定用例符合相關法律法規。建議使用Azure AI Content Safety等安全服務。

限制行為

• 服務質量：模型主要基於英語文本訓練，非英語語言的性能會較差。訓練數據中代表性較少的英語變體可能比標準美式英語的性能更差。Phi-4-reasoning不支持多語言使用。
• 傷害表示與刻板印象延續：模型可能過度或不足地表示某些人群，抹去某些群體的代表性，或強化貶低性或負面刻板印象。
• 不適當或冒犯性內容：模型可能產生其他類型的不適當或冒犯性內容，在敏感上下文中部署時需要額外的緩解措施。
• 信息可靠性：語言模型可能生成無意義的內容或編造聽起來合理但不準確或過時的內容。
• 選舉信息可靠性：模型在回答選舉關鍵查詢時存在較高的缺陷率，可能導致呈現不正確或無權威性的選舉關鍵信息。
• 代碼範圍有限：Phi-4-reasoning的大部分訓練數據基於Python，並使用常見包。如果模型生成使用其他包或其他語言的Python腳本，建議用戶手動驗證所有API使用。

考慮事項

• 分配：模型可能不適合對法律地位、資源分配或生活機會有重大影響的場景，需要進一步評估和額外的去偏技術。
• 高風險場景：開發者應評估在高風險場景中使用模型的適用性，並在應用層面實施額外的保障措施。
• 錯誤信息：模型可能產生不準確的信息，開發者應遵循透明度最佳實踐，並建立反饋機制和管道。
• 有害內容生成：開發者應評估輸出的上下文，並使用適當的安全分類器或自定義解決方案。
• 濫用：可能存在其他形式的濫用，如欺詐、垃圾郵件或惡意軟件生產，開發者應確保其應用程序的安全性。

🔧 技術細節

文檔未提供足夠的技術實現細節，故跳過此章節。

📄 許可證

本項目採用MIT許可證，詳情請見許可證鏈接。