Devstral Small 2505 GGUF

🚀 Devstral-Small-2505-GGUF项目

本项目由Antigma Labs基于unsloth/Devstral-Small-2505模型进行量化处理，生成了不同量化类型的GGUF文件，支持多种语言，可使用llama.cpp或相关项目直接运行。

项目信息

⚠️ 重要提示

如果你想了解我们如何处理你的个人数据，请阅读我们的隐私政策。

项目相关链接

• 由 Antigma Labs、Antigma Quantize Space 制作。
• 关注 Antigma Labs 的 X 账号 https://x.com/antigma_labs
• Antigma 的 GitHub 主页 https://github.com/AntigmaLabs

🚀 快速开始

llama.cpp量化

使用 llama.cpp 版本 b4944 进行量化。 原始模型：https://huggingface.co/unsloth/Devstral-Small-2505 可直接使用 llama.cpp 或任何基于 llama.cpp 的项目运行。

提示格式

<｜begin▁of▁sentence｜>{system_prompt}<｜User｜>{prompt}<｜Assistant｜><｜end▁of▁sentence｜><｜Assistant｜>

文件下载

可从以下列表中下载单个文件（非整个分支）：

使用huggingface-cli下载

pip install -U "huggingface_hub[cli]"

huggingface-cli download https://huggingface.co/Antigma/Devstral-Small-2505-GGUF --include "devstral-small-2505-q2_k.gguf" --local-dir ./

huggingface-cli download https://huggingface.co/Antigma/Devstral-Small-2505-GGUF --include "devstral-small-2505-q2_k.gguf/*" --local-dir ./