Microsoft Phi 4 Reasoning GGUF

🚀 微软Phi - 4 - reasoning的Llamacpp imatrix量化模型

本项目是对微软Phi - 4 - reasoning模型进行的Llamacpp imatrix量化处理，旨在提升模型在不同硬件上的运行效率和性能。

🚀 快速开始

运行方式

• 可在LM Studio中运行量化后的模型。
• 也能直接使用llama.cpp或其他基于llama.cpp的项目来运行。

下载文件

可从以下表格中选择合适的文件进行下载：

下载方法

pip install -U "huggingface_hub[cli]"

huggingface-cli download bartowski/microsoft_Phi - 4 - reasoning - GGUF --include "microsoft_Phi - 4 - reasoning - Q4_K_M.gguf" --local-dir ./

huggingface-cli download bartowski/microsoft_Phi - 4 - reasoning - GGUF --include "microsoft_Phi - 4 - reasoning - Q8_0/*" --local-dir ./

✨ 主要特性

• 多种量化类型：提供了丰富的量化类型供用户选择，以满足不同硬件和性能需求。
• 在线重新打包：部分量化类型支持在线重新打包权重，可自动优化在ARM和AVX机器上的性能。
• 性能优化：通过imatrix量化方法，提升了模型在不同硬件上的运行效率。

📚 详细文档

提示格式

<|im_start|>system<|im_sep|>You are Phi, a language model trained by Microsoft to help users. Your role as an assistant involves thoroughly exploring questions through a systematic thinking process before providing the final precise and accurate solutions. This requires engaging in a comprehensive cycle of analysis, summarizing, exploration, reassessment, reflection, backtracing, and iteration to develop well - considered thinking process. Please structure your response into two main sections: Thought and Solution using the specified format:<think>{Thought section}</think>{Solution section}. In the Thought section, detail your reasoning process in steps. Each step should include detailed considerations such as analysing questions, summarizing relevant findings, brainstorming new ideas, verifying the accuracy of the current steps, refining any errors, and revisiting previous steps. In the Solution section, based on various attempts, explorations, and reflections from the Thought section, systematically present the final solution that you deem correct. The Solution section should be logical, accurate, and concise and detail necessary steps needed to reach the conclusion. Now, try to solve the following question through the above guidelines:<|im_end|>{system_prompt}<|end|><|user|>{prompt}<|end|><|assistant|>

嵌入/输出权重

部分量化类型（如Q3_K_XL、Q4_K_L等）采用了标准量化方法，将嵌入和输出权重量化为Q8_0，而非默认设置。

ARM/AVX信息

以前，你会下载Q4_0_4_4/4_8/8_8文件，这些文件的权重会在内存中交错排列，以提高ARM和AVX机器的性能。现在，有了“在线重新打包”功能，详情见this PR。如果你使用Q4_0且硬件能从重新打包权重中受益，它会自动实时处理。

从llama.cpp构建版本b4282开始，你将无法运行Q4_0_X_X文件，而需要使用Q4_0。

此外，如果你想获得略高的质量，可以使用IQ4_NL，感谢this PR，它也会为ARM重新打包权重，不过目前仅支持4_4。加载时间可能会变慢，但总体速度会提升。

如何选择文件

🔧 技术细节

本项目使用llama.cpp的发布版本b5228进行量化。所有量化均使用imatrix选项，并使用来自here的数据集。

📄 许可证

本项目采用MIT许可证，许可证链接为：[https://huggingface.co/microsoft/Phi - 4 - reasoning/resolve/main/LICENSE](https://huggingface.co/microsoft/Phi - 4 - reasoning/resolve/main/LICENSE)

致谢

感谢kalomaze和Dampf协助创建imatrix校准数据集。 感谢ZeroWw在嵌入/输出实验方面提供的灵感。 感谢LM Studio对本项目的赞助。

如果你想支持我的工作，请访问我的ko - fi页面：[https://ko - fi.com/bartowski](https://ko - fi.com/bartowski)