Devstral Small 2507 Gguf

🚀 Devstral Small 1.1 (gguf)

Devstral是一款专为软件工程任务打造的智能大语言模型（LLM），由Mistral AI和All Hands AI合作开发👏。它在探索代码库、编辑多个文件以及驱动软件工程智能体等方面表现出色。该模型在SWE-bench基准测试中取得了显著成绩，在这个基准测试中位居开源模型榜首。

这是Devstral-Small-2507模型的GGUF版本。我们发布了BF16权重以及以下量化格式：

• Q8_0
• Q5_K_M
• Q4_K_M

它基于Mistral-Small-3.1进行微调，因此拥有长达128k标记的上下文窗口。作为一个编码智能体，Devstral仅处理文本，并且在从Mistral-Small-3.1微调之前移除了视觉编码器。

对于需要特定功能（如增加上下文、特定领域知识等）的企业，我们将发布超出Mistral AI向社区贡献范围的商业模型。

你可以在我们的博客文章中了解更多关于Devstral的信息。

与Devstral Small 1.0相比的更新内容：

• 性能有所提升，详情请参考基准测试结果。
• Devstral Small 1.1与OpenHands搭配使用时仍然表现出色。这个新版本在其他提示和编码环境中的泛化能力也更好。
• 支持Mistral的函数调用格式。

✨ 主要特性

• 智能编码：Devstral专为智能编码任务而设计，是软件工程智能体的理想选择。
• 轻量级：仅240亿参数，体积小巧，足以在单个RTX 4090或配备32GB内存的Mac上运行，适合本地部署和设备端使用。
• Apache 2.0许可证：开放许可证，允许商业和非商业用途的使用和修改。
• 上下文窗口：拥有128k的上下文窗口。
• 分词器：使用Tekken分词器，词汇量达131k。

📦 安装指南

我们建议按照此处的说明，将Devstral与OpenHands脚手架结合使用。 若要使用GGUF量化检查点进行本地推理，请参考以下部分。

本地推理（GGUF）

从Hugging Face下载权重：

pip install -U "huggingface_hub[cli]"
huggingface-cli download \
"mistralai/Devstral-Small-2507_gguf" \
--include "Devstral-Small-2507-Q4_K_M.gguf" \
--local-dir "mistralai/Devstral-Small-2507_gguf/"

llama.cpp

从Hugging Face下载权重，然后使用llama.cpp CLI或llama.cpp服务器运行Devstral：

./llama-cli -m mistralai/Devstral-Small-2507_gguf/Devstral-Small-2507-Q4_K_M.gguf -cnv

./llama-server -m mistralai/Devstral-Small-2507_gguf/Devstral-Small-2507-Q4_K_M.gguf -c 0

LM Studio

你可以使用LM Studio在本地部署该模型：

• 下载并安装LM Studio。
• 安装lms cli ~/.lmstudio/bin/lms bootstrap。
• 在bash终端中，在下载模型检查点的目录（例如mistralai/Devstral-Small-2507_gguf）中运行lms import Devstral-Small-2507-Q4_K_M.gguf。
• 打开LM Studio应用程序，点击终端图标进入开发者选项卡。点击“选择要加载的模型”，选择Devstral Small 2507。切换状态按钮以启动模型，在设置中切换“在本地网络上服务”为开启状态。
• 在右侧选项卡中，你将看到一个API标识符devstral-small-2507和一个API地址。请记录此地址，我们将在下一步中使用。

你现在可以通过OpenHands与在LM Studio中部署的模型进行交互。使用Docker启动OpenHands服务器：

docker pull docker.all-hands.dev/all-hands-ai/runtime:0.48-nikolaik

docker run -it --rm --pull=always \
    -e SANDBOX_RUNTIME_CONTAINER_IMAGE=docker.all-hands.dev/all-hands-ai/runtime:0.48-nikolaik \
    -e LOG_ALL_EVENTS=true \
    -v /var/run/docker.sock:/var/run/docker.sock \
    -v ~/.openhands:/.openhands \
    -p 3000:3000 \
    --add-host host.docker.internal:host-gateway \
    --name openhands-app \
    docker.all-hands.dev/all-hands-ai/openhands:0.48

服务器将在http://0.0.0.0:3000启动。请按照此处的说明配置OpenHands的大语言模型调用。

📄 许可证

本项目采用Apache 2.0许可证。

⚠️ 重要提示

在Mistral，我们在向社区提供GGUF量化检查点方面经验还不够丰富，但希望未来能帮助改善这一生态系统。如果你在使用此处提供的检查点时遇到任何问题，请开启讨论或提交拉取请求。