模型简介
模型特点
模型能力
使用案例
🚀 Devstral-Small-2505
Devstral是一款专为软件工程任务打造的智能大语言模型(LLM),由Mistral AI和All Hands AI合作开发。Devstral在利用工具探索代码库、编辑多个文件以及驱动软件工程智能体方面表现出色。该模型在SWE-bench基准测试中取得了显著成绩,使其成为该基准测试中的开源模型第一名。
它基于Mistral-Small-3.1进行微调,因此拥有长达128k token的上下文窗口。作为一个编码智能体,Devstral仅处理文本,并且在从Mistral-Small-3.1
微调之前,移除了视觉编码器。
对于需要特殊功能(如增加上下文、特定领域知识等)的企业,我们将发布超出Mistral AI向社区贡献范围的商业模型。
在我们的博客文章中了解更多关于Devstral的信息。
✨ 主要特性
- 智能编码:Devstral专为智能编码任务设计,是软件工程智能体的理想选择。
- 轻量级:仅拥有240亿参数,体积小巧,足以在单个RTX 4090或配备32GB内存的Mac上运行,适合本地部署和设备端使用。
- Apache 2.0许可证:开放许可证,允许商业和非商业用途的使用和修改。
- 上下文窗口:拥有128k的上下文窗口。
- 分词器:使用词汇量为131k的Tekken分词器。
📊 基准测试结果
SWE-Bench
Devstral在SWE-Bench Verified测试中取得了46.8%的分数,比之前的开源最优模型高出6%。
模型 | 脚手架 | SWE-Bench Verified (%) |
---|---|---|
Devstral | OpenHands Scaffold | 46.8 |
GPT-4.1-mini | OpenAI Scaffold | 23.6 |
Claude 3.5 Haiku | Anthropic Scaffold | 40.6 |
SWE-smith-LM 32B | SWE-agent Scaffold | 40.2 |
在相同的测试脚手架(由All Hands AI提供的OpenHands)下进行评估时,Devstral超越了诸如Deepseek-V3-0324和Qwen3 232B-A22B等更大的模型。
📦 安装指南
API
按照这些说明创建Mistral账户并获取API密钥。
然后运行以下命令启动OpenHands Docker容器:
export MISTRAL_API_KEY=<MY_KEY>
docker pull docker.all-hands.dev/all-hands-ai/runtime:0.39-nikolaik
mkdir -p ~/.openhands-state && echo '{"language":"en","agent":"CodeActAgent","max_iterations":null,"security_analyzer":null,"confirmation_mode":false,"llm_model":"mistral/devstral-small-2505","llm_api_key":"'$MISTRAL_API_KEY'","remote_runtime_resource_factor":null,"github_token":null,"enable_default_condenser":true}' > ~/.openhands-state/settings.json
docker run -it --rm --pull=always \
-e SANDBOX_RUNTIME_CONTAINER_IMAGE=docker.all-hands.dev/all-hands-ai/runtime:0.39-nikolaik \
-e LOG_ALL_EVENTS=true \
-v /var/run/docker.sock:/var/run/docker.sock \
-v ~/.openhands-state:/.openhands-state \
-p 3000:3000 \
--add-host host.docker.internal:host-gateway \
--name openhands-app \
docker.all-hands.dev/all-hands-ai/openhands:0.39
本地推理
该模型也可以使用以下库进行部署:
💻 使用示例
OpenHands(推荐)
启动服务器以部署Devstral-Small-2505
确保你已经按照上述说明启动了一个兼容OpenAI的服务器,如vLLM或Ollama。然后,你可以使用OpenHands与Devstral-Small-2505
进行交互。
在本教程中,我们通过运行以下命令启动一个vLLM服务器:
vllm serve mistralai/Devstral-Small-2505 --tokenizer_mode mistral --config_format mistral --load_format mistral --tool-call-parser mistral --enable-auto-tool-choice --tensor-parallel-size 2
服务器地址应采用以下格式:http://<your-server-url>:8000/v1
启动OpenHands
你可以按照此处的说明安装OpenHands。
启动OpenHands最简单的方法是使用Docker镜像:
docker pull docker.all-hands.dev/all-hands-ai/runtime:0.38-nikolaik
docker run -it --rm --pull=always \
-e SANDBOX_RUNTIME_CONTAINER_IMAGE=docker.all-hands.dev/all-hands-ai/runtime:0.38-nikolaik \
-e LOG_ALL_EVENTS=true \
-v /var/run/docker.sock:/var/run/docker.sock \
-v ~/.openhands-state:/.openhands-state \
-p 3000:3000 \
--add-host host.docker.internal:host-gateway \
--name openhands-app \
docker.all-hands.dev/all-hands-ai/openhands:0.38
然后,你可以在http://localhost:3000
访问OpenHands的用户界面。
连接到服务器
访问OpenHands用户界面时,系统会提示你连接到服务器。你可以使用高级模式连接到之前启动的服务器。
填写以下字段:
- 自定义模型:
openai/mistralai/Devstral-Small-2505
- 基础URL:
http://<your-server-url>:8000/v1
- API密钥:
token
(或者如果你在启动服务器时使用了其他令牌,则填写该令牌)
使用由Devstral驱动的OpenHands
现在你可以通过开始新对话在OpenHands中使用Devstral Small了。让我们来构建一个待办事项列表应用程序。
待办事项列表应用程序
- 让我们使用以下提示让Devstral生成应用程序:
构建一个待办事项列表应用程序,满足以下要求:
- 使用FastAPI和React构建。
- 使其成为单页应用程序,具备以下功能:
- 允许添加任务。
- 允许删除任务。
- 允许将任务标记为已完成。
- 显示任务列表。
- 将任务存储在SQLite数据库中。
- 查看结果 你应该会看到智能体构建应用程序,并能够查看它生成的代码。
如果它没有自动完成部署,你可以让Devstral部署应用程序,或者手动进行部署,然后访问前端部署URL查看应用程序。
- 迭代 现在你已经得到了第一个结果,你可以通过要求智能体对其进行改进来进行迭代。例如,在生成的应用程序中,我们可以点击任务将其标记为已选中,但添加一个复选框会改善用户体验。你还可以要求它添加编辑任务的功能,或者添加按状态过滤任务的功能。
享受使用Devstral Small和OpenHands进行开发的乐趣!
vLLM(推荐)
我们建议使用vLLM
库来实现生产就绪的推理管道。
安装
确保你安装了vLLM >= 0.8.5
:
pip install vllm --upgrade
这样做应该会自动安装mistral_common >= 1.5.5
。
要进行检查:
python -c "import mistral_common; print(mistral_common.__version__)"
你还可以使用现成的Docker镜像或在Docker Hub上的镜像。
服务器
我们建议在服务器/客户端环境中使用Devstral。
- 启动服务器:
vllm serve mistralai/Devstral-Small-2505 --tokenizer_mode mistral --config_format mistral --load_format mistral --tool-call-parser mistral --enable-auto-tool-choice --tensor-parallel-size 2
- 要测试客户端,你可以使用一个简单的Python代码片段。
import requests
import json
from huggingface_hub import hf_hub_download
url = "http://<your-server-url>:8000/v1/chat/completions"
headers = {"Content-Type": "application/json", "Authorization": "Bearer token"}
model = "mistralai/Devstral-Small-2505"
def load_system_prompt(repo_id: str, filename: str) -> str:
file_path = hf_hub_download(repo_id=repo_id, filename=filename)
with open(file_path, "r") as file:
system_prompt = file.read()
return system_prompt
SYSTEM_PROMPT = load_system_prompt(model, "SYSTEM_PROMPT.txt")
messages = [
{"role": "system", "content": SYSTEM_PROMPT},
{
"role": "user",
"content": [
{
"type": "text",
"text": "<your-command>",
},
],
},
]
data = {"model": model, "messages": messages, "temperature": 0.15}
response = requests.post(url, headers=headers, data=json.dumps(data))
print(response.json()["choices"][0]["message"]["content"])
Mistral-inference
我们建议使用mistral-inference
来快速试用Devstral。
安装
确保安装了mistral_inference >= 1.6.0
。
pip install mistral_inference --upgrade
下载
from huggingface_hub import snapshot_download
from pathlib import Path
mistral_models_path = Path.home().joinpath('mistral_models', 'Devstral')
mistral_models_path.mkdir(parents=True, exist_ok=True)
snapshot_download(repo_id="mistralai/Devstral-Small-2505", allow_patterns=["params.json", "consolidated.safetensors", "tekken.json"], local_dir=mistral_models_path)
Python
你可以使用以下命令运行模型:
mistral-chat $HOME/mistral_models/Devstral --instruct --max_tokens 300
然后你可以输入任何你想要的提示。
Transformers
为了充分利用我们的模型与transformers
库,确保已经安装了mistral-common >= 1.5.5
以使用我们的分词器。
pip install mistral-common --upgrade
然后加载我们的分词器和模型并进行生成:
import torch
from mistral_common.protocol.instruct.messages import (
SystemMessage, UserMessage
)
from mistral_common.protocol.instruct.request import ChatCompletionRequest
from mistral_common.tokens.tokenizers.mistral import MistralTokenizer
from huggingface_hub import hf_hub_download
from transformers import AutoModelForCausalLM
def load_system_prompt(repo_id: str, filename: str) -> str:
file_path = hf_hub_download(repo_id=repo_id, filename=filename)
with open(file_path, "r") as file:
system_prompt = file.read()
return system_prompt
model_id = "mistralai/Devstral-Small-2505"
tekken_file = hf_hub_download(repo_id=model_id, filename="tekken.json")
SYSTEM_PROMPT = load_system_prompt(model_id, "SYSTEM_PROMPT.txt")
tokenizer = MistralTokenizer.from_file(tekken_file)
model = AutoModelForCausalLM.from_pretrained(model_id)
tokenized = tokenizer.encode_chat_completion(
ChatCompletionRequest(
messages=[
SystemMessage(content=SYSTEM_PROMPT),
UserMessage(content="<your-command>"),
],
)
)
output = model.generate(
input_ids=torch.tensor([tokenized.tokens]),
max_new_tokens=1000,
)[0]
decoded_output = tokenizer.decode(output[len(tokenized.tokens):])
print(decoded_output)
LMStudio
从Hugging Face下载权重:
pip install -U "huggingface_hub[cli]"
huggingface-cli download \
"mistralai/Devstral-Small-2505_gguf" \
--include "devstralQ4_K_M.gguf" \
--local-dir "mistralai/Devstral-Small-2505_gguf/"
你可以使用LMStudio在本地提供模型服务。
- 下载LM Studio并安装
- 安装
lms cli ~/.lmstudio/bin/lms bootstrap
- 在Bash终端中,在你下载模型检查点的目录(例如
mistralai/Devstral-Small-2505_gguf
)中运行lms import devstralQ4_K_M.gguf
- 打开LMStudio应用程序,点击终端图标进入开发者选项卡。点击选择要加载的模型并选择Devstral Q4 K M。切换状态按钮以启动模型,在设置中切换“在本地网络上服务”为开启状态。
- 在右侧选项卡中,你将看到一个API标识符(应该是
devstralq4_k_m
)和一个API地址。记录下这个地址,我们将在下一步中使用它。
启动Openhands 现在你可以使用Openhands与从LM Studio提供服务的模型进行交互。使用Docker启动Openhands服务器:
docker pull docker.all-hands.dev/all-hands-ai/runtime:0.38-nikolaik
docker run -it --rm --pull=always \
-e SANDBOX_RUNTIME_CONTAINER_IMAGE=docker.all-hands.dev/all-hands-ai/runtime:0.38-nikolaik \
-e LOG_ALL_EVENTS=true \
-v /var/run/docker.sock:/var/run/docker.sock \
-v ~/.openhands-state:/.openhands-state \
-p 3000:3000 \
--add-host host.docker.internal:host-gateway \
--name openhands-app \
docker.all-hands.dev/all-hands-ai/openhands:0.38
点击“查看高级设置”。
在新选项卡中,将高级模式切换为开启状态。将自定义模型设置为mistral/devstralq4_k_m
,将基础URL设置为你在LM Studio中获得的API地址。将API密钥设置为dummy
。点击保存更改。
llama.cpp
从Hugging Face下载权重:
pip install -U "huggingface_hub[cli]"
huggingface-cli download \
"mistralai/Devstral-Small-2505_gguf" \
--include "devstralQ4_K_M.gguf" \
--local-dir "mistralai/Devstral-Small-2505_gguf/"
然后使用llama.cpp
命令行界面运行Devstral:
./llama-cli -m Devstral-Small-2505_gguf/devstralQ4_K_M.gguf -cnv
Ollama
你可以使用Ollama命令行界面运行Devstral:
ollama run devstral
示例:理解Mistral Common的测试覆盖率
我们可以启动OpenHands脚手架并将其链接到一个仓库,以分析测试覆盖率并识别覆盖率较低的文件。
这里我们从我们的公共mistral-common
仓库开始。
在仓库挂载到工作区后,我们给出以下指令:
检查仓库的测试覆盖率,然后创建测试覆盖率的可视化图表。尝试绘制几种不同类型的图表并将它们保存为PNG文件。
智能体将首先浏览代码库以检查测试配置和结构。
然后它会设置测试依赖项并启动覆盖率测试:
最后,智能体编写必要的代码来可视化覆盖率。
运行结束后,会生成以下图表:
📄 许可证
本项目采用Apache 2.0许可证。
属性 | 详情 |
---|---|
支持语言 | en, fr, de, es, pt, it, ja, ko, ru, zh, ar, fa, id, ms, ne, pl, ro, sr, sv, tr, uk, vi, hi, bn |
模型类型 | 文本到文本生成 |
基础模型 | mistralai/Devstrall-Small-2505 |
许可证 | apache-2.0 |
推理 | false |
库名称 | vllm |
⚠️ 重要提示
如果你想了解更多关于我们如何处理你的个人数据的信息,请阅读我们的隐私政策。



