Verireason Qwen2.5 1.5B Grpo Small GGUF

🚀 VeriReason-Qwen2.5-1.5B-grpo-small量化模型

本项目提供了对 VeriReason-Qwen2.5-1.5B-grpo-small 模型的静态量化版本，适用于Verilog推理、强化学习等领域。

📦 模型信息

📚 详细文档

关于模型

https://huggingface.co/Nellyw888/VeriReason-Qwen2.5-1.5B-grpo-small 的静态量化版本。目前，加权/矩阵量化似乎不可用（至少我这里没有）。如果在静态量化版本发布大约一周后它们仍未出现，可能是我没有计划进行相关操作。你可以通过发起社区讨论来请求获取这些量化版本。

使用方法

如果你不确定如何使用GGUF文件，请参考 TheBloke的README 以获取更多详细信息，包括如何拼接多部分文件。

提供的量化版本

（按大小排序，不一定代表质量。IQ量化通常比相同大小的非IQ量化更优）

这里有一张由ikawrakow提供的图表，比较了一些低质量量化类型（数值越低越好）：

此外，Artefact2对此事也有相关看法： https://gist.github.com/Artefact2/b5f810600771265fc1e39442288e8ec9

常见问题解答 / 模型请求

你可以访问 https://huggingface.co/mradermacher/model_requests 查看一些常见问题的答案，或者如果你希望对其他模型进行量化，也可以在此处了解相关信息。

🙏 致谢

感谢我的公司 nethype GmbH，允许我使用其服务器，并对我的工作站进行升级，使我能够在业余时间完成这项工作。