🚀 Devstral-Small-2505 (gguf)
Devstral是一款专为软件工程任务打造的智能大语言模型(LLM),由Mistral AI与All Hands AI合作开发。Devstral在利用工具探索代码库、编辑多个文件以及驱动软件工程智能体方面表现出色。该模型在SWE-bench基准测试中取得了卓越的成绩,使其成为此基准测试中的开源模型第一名。
这是Devstral-Small-2505模型的GGUF版本。我们发布了BF16权重以及以下量化格式:
- Q8_0(推荐)
- Q5_K_M(推荐)
- Q4_K_M(推荐)
- Q4_0
它是基于Mistral-Small-3.1进行微调的,因此具有长达128k标记的长上下文窗口。作为一个编码智能体,Devstral仅处理文本,并且在从Mistral-Small-3.1
微调之前,移除了视觉编码器。
对于需要特殊功能(如增加上下文、特定领域知识等)的企业,我们将发布超出Mistral AI向社区贡献范围的商业模型。
您可以在我们的博客文章中了解更多关于Devstral的信息。
🚀 快速开始
重要提示
⚠️ 重要提示
在Mistral,我们在向社区提供GGUF量化检查点方面经验尚浅,但希望未来能帮助改善这一生态系统。如果您在使用此处提供的检查点时遇到任何问题,请开启讨论或提交拉取请求。
✨ 主要特性
- 智能编码:Devstral专为智能编码任务而设计,是软件工程智能体的理想选择。
- 轻量级:仅240亿参数,体积小巧,足以在单张RTX 4090或配备32GB内存的Mac上运行,适合本地部署和设备端使用。
- Apache 2.0许可证:开放许可证,允许商业和非商业用途的使用和修改。
- 上下文窗口:拥有128k的上下文窗口。
- 分词器:使用词汇量为131k的Tekken分词器。
📦 安装指南
本地推理(GGUF)
从Hugging Face下载权重:
pip install -U "huggingface_hub[cli]"
huggingface-cli download \
"mistralai/Devstral-Small-2505_gguf" \
--include "devstralQ4_K_M.gguf" \
--local-dir "mistralai/Devstral-Small-2505_gguf/"
您可以使用LMStudio在本地部署该模型:
- 下载并安装LM Studio。
- 安装
lms cli ~/.lmstudio/bin/lms bootstrap
。
- 在bash终端中,在下载模型检查点的目录(例如
mistralai/Devstral-Small-2505_gguf
)中运行lms import devstralQ4_K_M.ggu
。
- 打开LMStudio应用程序,点击终端图标进入开发者选项卡。点击“选择要加载的模型”并选择Devstral Q4 K M。切换状态按钮以启动模型,在设置中切换“在本地网络上服务”为开启状态。
- 在右侧选项卡中,您将看到一个API标识符(应为devstralq4_k_m)和一个API地址。请记录此地址,我们将在下一步中使用。
💻 使用示例
基础用法
您现在可以使用OpenHands与从LM Studio部署的模型进行交互。使用Docker启动OpenHands服务器:
docker pull docker.all-hands.dev/all-hands-ai/runtime:0.38-nikolaik
docker run -it --rm --pull=always \
-e SANDBOX_RUNTIME_CONTAINER_IMAGE=docker.all-hands.dev/all-hands-ai/runtime:0.38-nikolaik \
-e LOG_ALL_EVENTS=true \
-v /var/run/docker.sock:/var/run/docker.sock \
-v ~/.openhands-state:/.openhands-state \
-p 3000:3000 \
--add-host host.docker.internal:host-gateway \
--name openhands-app \
docker.all-hands.dev/all-hands-ai/openhands:0.38
服务器将在http://0.0.0.0:3000启动。在浏览器中打开该地址,您将看到一个“AI Provider Configuration”选项卡。点击第二行的“查看高级设置”。在新选项卡中,将“advanced”切换为开启状态。将自定义模型设置为mistral/devstralq4_k_m
,将基础URL设置为我们在LM Studio最后一步中获取的API地址。将API密钥设置为dummy
。点击“保存更改”。
📄 许可证
本项目采用Apache 2.0许可证。
属性 |
详情 |
支持语言 |
en、fr、de、es、pt、it、ja、ko、ru、zh、ar、fa、id、ms、ne、pl、ro、sr、sv、tr、uk、vi、hi、bn |
许可证 |
Apache 2.0 |
库名称 |
llmstudio |
推理功能 |
否 |
基础模型 |
mistralai/Devstral-Small-2505 |
任务类型 |
文本到文本生成 |