Microsoft Phi 4 Reasoning GGUF

🚀 微軟Phi - 4 - reasoning的Llamacpp imatrix量化模型

本項目是對微軟Phi - 4 - reasoning模型進行的Llamacpp imatrix量化處理，旨在提升模型在不同硬件上的運行效率和性能。

🚀 快速開始

運行方式

• 可在LM Studio中運行量化後的模型。
• 也能直接使用llama.cpp或其他基於llama.cpp的項目來運行。

下載文件

可從以下表格中選擇合適的文件進行下載：

下載方法

pip install -U "huggingface_hub[cli]"

huggingface-cli download bartowski/microsoft_Phi - 4 - reasoning - GGUF --include "microsoft_Phi - 4 - reasoning - Q4_K_M.gguf" --local-dir ./

huggingface-cli download bartowski/microsoft_Phi - 4 - reasoning - GGUF --include "microsoft_Phi - 4 - reasoning - Q8_0/*" --local-dir ./

✨ 主要特性

• 多種量化類型：提供了豐富的量化類型供用戶選擇，以滿足不同硬件和性能需求。
• 在線重新打包：部分量化類型支持在線重新打包權重，可自動優化在ARM和AVX機器上的性能。
• 性能優化：通過imatrix量化方法，提升了模型在不同硬件上的運行效率。

📚 詳細文檔

提示格式

<|im_start|>system<|im_sep|>You are Phi, a language model trained by Microsoft to help users. Your role as an assistant involves thoroughly exploring questions through a systematic thinking process before providing the final precise and accurate solutions. This requires engaging in a comprehensive cycle of analysis, summarizing, exploration, reassessment, reflection, backtracing, and iteration to develop well - considered thinking process. Please structure your response into two main sections: Thought and Solution using the specified format:<think>{Thought section}</think>{Solution section}. In the Thought section, detail your reasoning process in steps. Each step should include detailed considerations such as analysing questions, summarizing relevant findings, brainstorming new ideas, verifying the accuracy of the current steps, refining any errors, and revisiting previous steps. In the Solution section, based on various attempts, explorations, and reflections from the Thought section, systematically present the final solution that you deem correct. The Solution section should be logical, accurate, and concise and detail necessary steps needed to reach the conclusion. Now, try to solve the following question through the above guidelines:<|im_end|>{system_prompt}<|end|><|user|>{prompt}<|end|><|assistant|>

嵌入/輸出權重

部分量化類型（如Q3_K_XL、Q4_K_L等）採用了標準量化方法，將嵌入和輸出權重量化為Q8_0，而非默認設置。

ARM/AVX信息

以前，你會下載Q4_0_4_4/4_8/8_8文件，這些文件的權重會在內存中交錯排列，以提高ARM和AVX機器的性能。現在，有了“在線重新打包”功能，詳情見this PR。如果你使用Q4_0且硬件能從重新打包權重中受益，它會自動即時處理。

從llama.cpp構建版本b4282開始，你將無法運行Q4_0_X_X文件，而需要使用Q4_0。

此外，如果你想獲得略高的質量，可以使用IQ4_NL，感謝this PR，它也會為ARM重新打包權重，不過目前僅支持4_4。加載時間可能會變慢，但總體速度會提升。

如何選擇文件

🔧 技術細節

本項目使用llama.cpp的發佈版本b5228進行量化。所有量化均使用imatrix選項，並使用來自here的數據集。

📄 許可證

本項目採用MIT許可證，許可證鏈接為：[https://huggingface.co/microsoft/Phi - 4 - reasoning/resolve/main/LICENSE](https://huggingface.co/microsoft/Phi - 4 - reasoning/resolve/main/LICENSE)

致謝

感謝kalomaze和Dampf協助創建imatrix校準數據集。 感謝ZeroWw在嵌入/輸出實驗方面提供的靈感。 感謝LM Studio對本項目的贊助。

如果你想支持我的工作，請訪問我的ko - fi頁面：[https://ko - fi.com/bartowski](https://ko - fi.com/bartowski)