Model Overview
Model Features
Model Capabilities
Use Cases
🚀 Devstral Small 1.1
Devstral是一款专为软件工程任务打造的大语言模型(LLM),由Mistral AI和All Hands AI合作开发 🙌。它在利用工具探索代码库、编辑多个文件以及驱动软件工程智能体方面表现出色。该模型在SWE-bench基准测试中取得了显著的成绩,使其成为该基准测试中的排名第一的开源模型。
它基于Mistral-Small-3.1进行微调,因此拥有长达128k token的上下文窗口。作为一个编码智能体,Devstral仅处理文本,并且在从Mistral-Small-3.1
微调之前,移除了视觉编码器。
对于需要特殊功能(如增加上下文、特定领域知识等)的企业,我们将发布商业模型,其功能将超出Mistral AI向社区贡献的范围。
您可以在我们的博客文章中了解更多关于Devstral的信息。
与Devstral Small 1.0
相比的更新内容:
- 性能提升,请参考基准测试结果。
Devstral Small 1.1
与OpenHands搭配使用时仍然表现出色。这个新版本在处理其他提示和编码环境时也具有更好的泛化能力。- 支持Mistral的函数调用格式。
🚀 快速开始
Devstral是一款专为软件工程任务设计的大语言模型,以下将为您介绍如何快速上手使用。
✨ 主要特性
- 智能编码:Devstral专为智能编码任务而设计,是软件工程智能体的理想选择。
- 轻量级:仅具有240亿参数,体积小巧,能够在单个RTX 4090或配备32GB RAM的Mac上运行,适合本地部署和设备端使用。
- Apache 2.0许可证:开放许可证,允许商业和非商业用途的使用和修改。
- 上下文窗口:拥有128k的上下文窗口。
- 分词器:使用词汇量为131k的Tekken分词器。
📦 安装指南
API
按照以下说明创建Mistral账户并获取API密钥。
然后运行以下命令启动OpenHands Docker容器:
export MISTRAL_API_KEY=<MY_KEY>
mkdir -p ~/.openhands && echo '{"language":"en","agent":"CodeActAgent","max_iterations":null,"security_analyzer":null,"confirmation_mode":false,"llm_model":"mistral/devstral-small-2507","llm_api_key":"'$MISTRAL_API_KEY'","remote_runtime_resource_factor":null,"github_token":null,"enable_default_condenser":true}' > ~/.openhands-state/settings.json
docker pull docker.all-hands.dev/all-hands-ai/runtime:0.48-nikolaik
docker run -it --rm --pull=always \
-e SANDBOX_RUNTIME_CONTAINER_IMAGE=docker.all-hands.dev/all-hands-ai/runtime:0.48-nikolaik \
-e LOG_ALL_EVENTS=true \
-v /var/run/docker.sock:/var/run/docker.sock \
-v ~/.openhands:/.openhands \
-p 3000:3000 \
--add-host host.docker.internal:host-gateway \
--name openhands-app \
docker.all-hands.dev/all-hands-ai/openhands:0.48
Local inference
该模型也可以使用以下库进行部署:
vllm (推荐)
:请参考此处mistral-inference
:请参考此处transformers
:请参考此处LMStudio
:请参考此处llama.cpp
:请参考此处ollama
:请参考此处
vLLM (推荐)
展开
我们建议使用vLLM库来实现生产就绪的推理管道。
安装
确保安装了vLLM >= 0.9.1
:
pip install vllm --upgrade
同时确保安装了mistral_common >= 1.7.0
:
pip install mistral-common --upgrade
检查安装情况:
python -c "import mistral_common; print(mistral_common.__version__)"
您也可以使用现成的Docker镜像或在Docker Hub上获取。
启动服务器
我们建议在服务器/客户端环境中使用Devstral。
- 启动服务器:
vllm serve mistralai/Devstral-Small-2507 --tokenizer_mode mistral --config_format mistral --load_format mistral --tool-call-parser mistral --enable-auto-tool-choice --tensor-parallel-size 2
- 您可以使用一个简单的Python代码片段来测试客户端:
import requests
import json
from huggingface_hub import hf_hub_download
url = "http://<your-server-url>:8000/v1/chat/completions"
headers = {"Content-Type": "application/json", "Authorization": "Bearer token"}
model = "mistralai/Devstral-Small-2507"
def load_system_prompt(repo_id: str, filename: str) -> str:
file_path = hf_hub_download(repo_id=repo_id, filename=filename)
with open(file_path, "r") as file:
system_prompt = file.read()
return system_prompt
SYSTEM_PROMPT = load_system_prompt(model, "SYSTEM_PROMPT.txt")
messages = [
{"role": "system", "content": SYSTEM_PROMPT},
{
"role": "user",
"content": [
{
"type": "text",
"text": "<your-command>",
},
],
},
]
data = {"model": model, "messages": messages, "temperature": 0.15}
# Devstral Small 1.1支持工具调用。如果您想使用工具,请按照以下方式操作:
# tools = [ # 为vLLM定义工具
# {
# "type": "function",
# "function": {
# "name": "git_clone",
# "description": "克隆一个git仓库",
# "parameters": {
# "type": "object",
# "properties": {
# "url": {
# "type": "string",
# "description": "git仓库的URL",
# },
# },
# "required": ["url"],
# },
# },
# }
# ]
# data = {"model": model, "messages": messages, "temperature": 0.15, "tools": tools} # 将工具传递给负载。
response = requests.post(url, headers=headers, data=json.dumps(data))
print(response.json()["choices"][0]["message"]["content"])
Mistral-inference
展开
我们建议使用mistral-inference来快速试用Devstral。
安装
确保安装了mistral_inference >= 1.6.0:
pip install mistral_inference --upgrade
下载
from huggingface_hub import snapshot_download
from pathlib import Path
mistral_models_path = Path.home().joinpath('mistral_models', 'Devstral')
mistral_models_path.mkdir(parents=True, exist_ok=True)
snapshot_download(repo_id="mistralai/Devstral-Small-2507", allow_patterns=["params.json", "consolidated.safetensors", "tekken.json"], local_dir=mistral_models_path)
聊天
您可以使用以下命令运行模型:
mistral-chat $HOME/mistral_models/Devstral --instruct --max_tokens 300
然后您可以输入任何提示进行交互。
Transformers
展开
为了充分利用我们的模型与transformers,确保已经安装了mistral-common >= 1.7.0
以使用我们的分词器:
pip install mistral-common --upgrade
然后加载我们的分词器和模型并进行生成:
import torch
from mistral_common.protocol.instruct.messages import (
SystemMessage, UserMessage
)
from mistral_common.protocol.instruct.request import ChatCompletionRequest
from mistral_common.tokens.tokenizers.mistral import MistralTokenizer
from huggingface_hub import hf_hub_download
from transformers import AutoModelForCausalLM
def load_system_prompt(repo_id: str, filename: str) -> str:
file_path = hf_hub_download(repo_id=repo_id, filename=filename)
with open(file_path, "r") as file:
system_prompt = file.read()
return system_prompt
model_id = "mistralai/Devstral-Small-2507"
SYSTEM_PROMPT = load_system_prompt(model_id, "SYSTEM_PROMPT.txt")
tokenizer = MistralTokenizer.from_hf_hub(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id)
tokenized = tokenizer.encode_chat_completion(
ChatCompletionRequest(
messages=[
SystemMessage(content=SYSTEM_PROMPT),
UserMessage(content="<your-command>"),
],
)
)
output = model.generate(
input_ids=torch.tensor([tokenized.tokens]),
max_new_tokens=1000,
)[0]
decoded_output = tokenizer.decode(output[len(tokenized.tokens):])
print(decoded_output)
LM Studio
展开
从以下任意位置下载权重:
- LM Studio GGUF仓库(推荐):https://huggingface.co/lmstudio-community/Devstral-Small-2507-GGUF
- 我们的GGUF仓库:https://huggingface.co/mistralai/Devstral-Small-2507_gguf
pip install -U "huggingface_hub[cli]"
huggingface-cli download \
"lmstudio-community/Devstral-Small-2507-GGUF" \ # 或者 mistralai/Devstral-Small-2507_gguf
--include "Devstral-Small-2507-Q4_K_M.gguf" \
--local-dir "Devstral-Small-2507_gguf/"
您可以使用LMStudio在本地部署模型:
- 下载LM Studio并安装
- 安装
lms cli ~/.lmstudio/bin/lms bootstrap
- 在bash终端中,在下载模型检查点的目录(例如
Devstral-Small-2507_gguf
)中运行lms import Devstral-Small-2507-Q4_K_M.gguf
- 打开LM Studio应用程序,点击终端图标进入开发者选项卡。点击选择要加载的模型并选择
Devstral Small 2507
。切换状态按钮以启动模型,在设置中切换“在本地网络上服务”为开启状态。 - 在右侧选项卡中,您将看到一个API标识符,应为
devstral-small-2507
,以及一个API地址。请记录此地址,它将用于OpenHands或Cline。
llama.cpp
展开
从Hugging Face下载权重:
pip install -U "huggingface_hub[cli]"
huggingface-cli download \
"mistralai/Devstral-Small-2507_gguf" \
--include "Devstral-Small-2507-Q4_K_M.gguf" \
--local-dir "mistralai/Devstral-Small-2507_gguf/"
然后使用llama.cpp服务器运行Devstral:
./llama-server -m mistralai/Devstral-Small-2507_gguf/Devstral-Small-2507-Q4_K_M.gguf -c 0 # -c配置上下文大小,0表示使用模型的默认值,此处为128k。
OpenHands (推荐)
启动服务器以部署Devstral Small 1.1
确保您已经按照上述说明启动了一个兼容OpenAI的服务器,如vLLM或Ollama。然后,您可以使用OpenHands与Devstral Small 1.1
进行交互。
在本教程中,我们使用以下命令启动vLLM服务器:
vllm serve mistralai/Devstral-Small-2507 --tokenizer_mode mistral --config_format mistral --load_format mistral --tool-call-parser mistral --enable-auto-tool-choice --tensor-parallel-size 2
服务器地址应采用以下格式:http://<your-server-url>:8000/v1
启动OpenHands
您可以按照此处的说明安装OpenHands。
启动OpenHands最简单的方法是使用Docker镜像:
docker pull docker.all-hands.dev/all-hands-ai/runtime:0.48-nikolaik
docker run -it --rm --pull=always \
-e SANDBOX_RUNTIME_CONTAINER_IMAGE=docker.all-hands.dev/all-hands-ai/runtime:0.48-nikolaik \
-e LOG_ALL_EVENTS=true \
-v /var/run/docker.sock:/var/run/docker.sock \
-v ~/.openhands:/.openhands \
-p 3000:3000 \
--add-host host.docker.internal:host-gateway \
--name openhands-app \
docker.all-hands.dev/all-hands-ai/openhands:0.48
然后,您可以在http://localhost:3000
访问OpenHands的用户界面。
连接到服务器
当访问OpenHands用户界面时,系统会提示您连接到服务器。您可以使用高级模式连接到之前启动的服务器。
填写以下字段:
- 自定义模型:
openai/mistralai/Devstral-Small-2507
- 基础URL:
http://<your-server-url>:8000/v1
- API密钥:
token
(或者如果您在启动服务器时使用了其他令牌,则填写相应的令牌)
查看设置
Cline
启动服务器以部署Devstral Small 1.1
确保您已经按照上述说明启动了一个兼容OpenAI的服务器,如vLLM或Ollama。然后,您可以使用OpenHands与Devstral Small 1.1
进行交互。
在本教程中,我们使用以下命令启动vLLM服务器:
vllm serve mistralai/Devstral-Small-2507 --tokenizer_mode mistral --config_format mistral --load_format mistral --tool-call-parser mistral --enable-auto-tool-choice --tensor-parallel-size 2
服务器地址应采用以下格式:http://<your-server-url>:8000/v1
启动Cline
您可以按照此处的说明安装Cline。然后在设置中配置服务器地址。
查看设置
💻 使用示例
OpenHands:理解Mistral Common的测试覆盖率
我们可以启动OpenHands脚手架并将其链接到一个仓库,以分析测试覆盖率并识别覆盖率较低的文件。这里我们以我们的公共mistral-common
仓库为例。
在仓库挂载到工作区后,我们给出以下指令:
检查仓库的测试覆盖率,然后创建测试覆盖率的可视化图表。尝试绘制几种不同类型的图表并将它们保存为png文件。
智能体将首先浏览代码库以检查测试配置和结构。
然后它会设置测试依赖项并启动覆盖率测试:
最后,智能体编写必要的代码来可视化覆盖率,导出结果并将图表保存为png文件。
运行结束后,会生成以下图表:
并且模型能够解释结果:
Cline:构建一个视频游戏
首先在VSCode中初始化Cline并将其连接到之前启动的服务器。
我们给出以下指令来构建视频游戏:
创建一个将《太空侵略者》和《乒乓》相结合的网页视频游戏。
遵循以下说明:
- 有两名玩家,一名在顶部,一名在底部。玩家通过控制一个横杆来反弹球。
- 第一名玩家使用键“a”和“d”进行控制,第二名玩家使用左右箭头进行控制。
- 侵略者位于屏幕中央。它们看起来应该像《太空侵略者》中的侵略者。它们的目标是随机向玩家射击。它们不会被穿过它们的球摧毁,这意味着侵略者永远不会死亡。
- 玩家的目标是避免来自太空侵略者的射击,并将球发送到另一名玩家的边缘。
- 球在左右边缘反弹。
- 一旦球触及其中一名玩家的边缘,该玩家就输了。
- 一旦一名玩家被射击击中3次或更多次,该玩家就输了。
- 最后幸存的玩家获胜。
- 在用户界面上显示玩家触球的次数和剩余生命值。
智能体将首先创建游戏:
然后它会解释如何启动游戏:
最后,游戏就可以开始玩了:
您可以随时迭代或向Devstral提供更多信息以改进游戏!
📚 详细文档
基准测试结果
SWE-Bench
Devstral Small 1.1在SWE-Bench Verified测试中取得了**53.6%**的分数,比Devstral Small 1.0高出6.8%,比第二好的现有模型高出11.4%。
模型 | 智能体脚手架 | SWE-Bench Verified (%) |
---|---|---|
Devstral Small 1.1 | OpenHands Scaffold | 53.6 |
Devstral Small 1.0 | OpenHands Scaffold | 46.8 |
GPT-4.1-mini | OpenAI Scaffold | 23.6 |
Claude 3.5 Haiku | Anthropic Scaffold | 40.6 |
SWE-smith-LM 32B | SWE-agent Scaffold | 40.2 |
Skywork SWE | OpenHands Scaffold | 38.0 |
DeepSWE | R2E-Gym Scaffold | 42.2 |
当在相同的测试脚手架(OpenHands,由All Hands AI提供 🙌)下进行评估时,Devstral远远超过了如Deepseek-V3-0324和Qwen3 232B-A22B等更大的模型。
📄 许可证
本项目采用Apache-2.0许可证。如果您想了解更多关于我们如何处理您的个人数据的信息,请阅读我们的隐私政策。
信息表格
属性 | 详情 |
---|---|
支持语言 | 英语、法语、德语、西班牙语、葡萄牙语、意大利语、日语、韩语、俄语、中文、阿拉伯语、波斯语、印尼语、马来语、尼泊尔语、波兰语、罗马尼亚语、塞尔维亚语、瑞典语、土耳其语、乌克兰语、越南语、印地语、孟加拉语 |
许可证 | Apache-2.0 |
库名称 | vllm |
推理 | 否 |
基础模型 | mistralai/Mistral-Small-3.1-24B-Instruct-2503 |
任务类型 | 文本生成 |



