Devstral Small 2505 Bnb 4bit

🚀 mistralai/Devstrall-Small-2505模型卡片

Devstral是一款专为软件工程任务打造的智能大语言模型（LLM），由Mistral AI和All Hands AI合作开发🙌。Devstral在利用工具探索代码库、编辑多个文件以及驱动软件工程智能体方面表现出色。该模型在SWE-bench基准测试中取得了显著成绩，使其成为该基准测试中的开源模型第一名。

它基于Mistral-Small-3.1进行微调，因此拥有长达128k token的上下文窗口。作为一个编码智能体，Devstral仅处理文本，在从Mistral-Small-3.1微调之前，移除了视觉编码器。

对于需要特殊功能（如增加上下文、特定领域知识等）的企业，我们将发布超出Mistral AI社区贡献范围的商业模型。

在我们的博客文章中了解更多关于Devstral的信息。

🚀 快速开始

如果你想了解更多关于我们如何处理你的个人数据，请阅读我们的隐私政策。

✨ 主要特性

• 智能编码：Devstral专为智能编码任务而设计，是软件工程智能体的理想选择。
• 轻量级：仅240亿参数的紧凑规模，Devstral轻到足以在单个RTX 4090或拥有32GB RAM的Mac上运行，适合本地部署和设备端使用。
• Apache 2.0许可证：开放许可证，允许商业和非商业用途的使用和修改。
• 上下文窗口：128k的上下文窗口。
• 分词器：使用词汇量为131k的Tekken分词器。

📚 详细文档

基准测试结果

SWE-Bench

Devstral在SWE-Bench Verified测试中取得了46.8%的分数，比之前的开源最优模型高出6%。

在相同的测试脚手架（由All Hands AI提供的OpenHands🙌）下进行评估时，Devstral远超Deepseek-V3-0324和Qwen3 232B-A22B等更大的模型。

使用方法

我们建议使用OpenHands脚手架来使用Devstral。你可以通过我们的API或在本地运行来使用它。

API

按照这些说明创建一个Mistral账户并获取API密钥。

然后运行以下命令启动OpenHands Docker容器：

export MISTRAL_API_KEY=<MY_KEY>

docker pull docker.all-hands.dev/all-hands-ai/runtime:0.39-nikolaik

mkdir -p ~/.openhands-state && echo '{"language":"en","agent":"CodeActAgent","max_iterations":null,"security_analyzer":null,"confirmation_mode":false,"llm_model":"mistral/devstral-small-2505","llm_api_key":"'$MISTRAL_API_KEY'","remote_runtime_resource_factor":null,"github_token":null,"enable_default_condenser":true}' > ~/.openhands-state/settings.json

docker run -it --rm --pull=always \
    -e SANDBOX_RUNTIME_CONTAINER_IMAGE=docker.all-hands.dev/all-hands-ai/runtime:0.39-nikolaik \
    -e LOG_ALL_EVENTS=true \
    -v /var/run/docker.sock:/var/run/docker.sock \
    -v ~/.openhands-state:/.openhands-state \
    -p 3000:3000 \
    --add-host host.docker.internal:host-gateway \
    --name openhands-app \
    docker.all-hands.dev/all-hands-ai/openhands:0.39

本地推理

你也可以在本地运行该模型。可以使用LMStudio或以下列出的其他库来实现。

启动Openhands 你现在可以通过Openhands与LM Studio提供的模型进行交互。使用Docker启动Openhands服务器：

docker pull docker.all-hands.dev/all-hands-ai/runtime:0.38-nikolaik
docker run -it --rm --pull=always \
    -e SANDBOX_RUNTIME_CONTAINER_IMAGE=docker.all-hands.dev/all-hands-ai/runtime:0.38-nikolaik \
    -e LOG_ALL_EVENTS=true \
    -v /var/run/docker.sock:/var/run/docker.sock \
    -v ~/.openhands-state:/.openhands-state \
    -p 3000:3000 \
    --add-host host.docker.internal:host-gateway \
    --name openhands-app \
    docker.all-hands.dev/all-hands-ai/openhands:0.38

服务器将在http://0.0.0.0:3000启动。在浏览器中打开它，你将看到一个“AI Provider Configuration”选项卡。 现在你可以通过点击左侧栏上的加号与智能体开始新的对话。

该模型还可以使用以下库进行部署：

• LMStudio (推荐用于量化模型)：详见此处
• vllm (推荐)：详见此处
• mistral-inference：详见此处
• transformers：详见此处
• ollama：详见此处

OpenHands（推荐）

启动服务器以部署Devstral-Small-2505

确保你已经按照上述说明启动了一个兼容OpenAI的服务器，如vLLM或Ollama。然后，你可以使用OpenHands与Devstral-Small-2505进行交互。

在本教程中，我们通过运行以下命令启动一个vLLM服务器：

vllm serve mistralai/Devstral-Small-2505 --tokenizer_mode mistral --config_format mistral --load_format mistral --tool-call-parser mistral --enable-auto-tool-choice --tensor-parallel-size 2

服务器地址应采用以下格式：http://<your-server-url>:8000/v1

启动OpenHands

你可以按照此处的说明安装OpenHands。

启动OpenHands最简单的方法是使用Docker镜像：

docker pull docker.all-hands.dev/all-hands-ai/runtime:0.38-nikolaik

docker run -it --rm --pull=always \
    -e SANDBOX_RUNTIME_CONTAINER_IMAGE=docker.all-hands.dev/all-hands-ai/runtime:0.38-nikolaik \
    -e LOG_ALL_EVENTS=true \
    -v /var/run/docker.sock:/var/run/docker.sock \
    -v ~/.openhands-state:/.openhands-state \
    -p 3000:3000 \
    --add-host host.docker.internal:host-gateway \
    --name openhands-app \
    docker.all-hands.dev/all-hands-ai/openhands:0.38

然后，你可以在http://localhost:3000访问OpenHands用户界面。

连接到服务器

访问OpenHands用户界面时，系统会提示你连接到服务器。你可以使用高级模式连接到之前启动的服务器。

填写以下字段：

• 自定义模型：openai/mistralai/Devstral-Small-2505
• 基础URL：http://<your-server-url>:8000/v1
• API密钥：token（或者如果你在启动服务器时使用了其他令牌，则填写该令牌）

使用由Devstral驱动的OpenHands

现在你可以通过开始新对话在OpenHands中使用Devstral Small。让我们来构建一个待办事项列表应用程序。

构建一个待办事项列表应用程序，满足以下要求：
- 使用FastAPI和React构建。
- 使其成为单页应用程序，具备以下功能：
  - 允许添加任务。
  - 允许删除任务。
  - 允许将任务标记为已完成。
  - 显示任务列表。
- 将任务存储在SQLite数据库中。

LMStudio（推荐用于量化模型）

从Hugging Face下载权重：

pip install -U "huggingface_hub[cli]"
huggingface-cli download \
"mistralai/Devstral-Small-2505_gguf" \
--include "devstralQ4_K_M.gguf" \
--local-dir "mistralai/Devstral-Small-2505_gguf/"

你可以使用LMStudio在本地提供该模型服务：

• 下载LM Studio并安装。
• 安装lms cli ~/.lmstudio/bin/lms bootstrap。
• 在bash终端中，在下载模型检查点的目录（例如mistralai/Devstral-Small-2505_gguf）中运行lms import devstralQ4_K_M.ggu。
• 打开LMStudio应用程序，点击终端图标进入开发者选项卡。点击“选择要加载的模型”并选择Devstral Q4 K M。切换状态按钮以启动模型，在设置中切换“在本地网络上服务”为开启状态。
• 在右侧选项卡中，你将看到一个API标识符（应该是devstralq4_k_m）和一个API地址。记录下这个地址，我们将在下一步中使用它。

启动Openhands 你现在可以通过Openhands与LM Studio提供的模型进行交互。使用Docker启动Openhands服务器：

docker pull docker.all-hands.dev/all-hands-ai/runtime:0.38-nikolaik
docker run -it --rm --pull=always \
    -e SANDBOX_RUNTIME_CONTAINER_IMAGE=docker.all-hands.dev/all-hands-ai/runtime:0.38-nikolaik \
    -e LOG_ALL_EVENTS=true \
    -v /var/run/docker.sock:/var/run/docker.sock \
    -v ~/.openhands-state:/.openhands-state \
    -p 3000:3000 \
    --add-host host.docker.internal:host-gateway \
    --name openhands-app \
    docker.all-hands.dev/all-hands-ai/openhands:0.38

点击第二行的“查看高级设置”。 在新选项卡中，将“高级”切换为开启状态。将自定义模型设置为mistral/devstralq4_k_m，将基础URL设置为我们在LM Studio的上一步中获得的API地址。将API密钥设置为dummy。点击“保存更改”。

vLLM（推荐）

我们建议使用vLLM库来实现该模型的生产就绪推理管道。

安装 确保你安装了vLLM >= 0.8.5：

pip install vllm --upgrade

这样做应该会自动安装mistral_common >= 1.5.5。

要检查：

python -c "import mistral_common; print(mistral_common.__version__)"

你还可以使用现成的Docker镜像或在Docker Hub上的镜像。

服务器

我们建议在服务器/客户端环境中使用Devstral。

1. 启动服务器：

vllm serve mistralai/Devstral-Small-2505 --tokenizer_mode mistral --config_format mistral --load_format mistral --tool-call-parser mistral --enable-auto-tool-choice --tensor-parallel-size 2

2. 要测试客户端，你可以使用一个简单的Python代码片段：

import requests
import json
from huggingface_hub import hf_hub_download


url = "http://<your-server-url>:8000/v1/chat/completions"
headers = {"Content-Type": "application/json", "Authorization": "Bearer token"}

model = "mistralai/Devstral-Small-2505"

def load_system_prompt(repo_id: str, filename: str) -> str:
    file_path = hf_hub_download(repo_id=repo_id, filename=filename)
    with open(file_path, "r") as file:
        system_prompt = file.read()
    return system_prompt

SYSTEM_PROMPT = load_system_prompt(model, "SYSTEM_PROMPT.txt")

messages = [
    {"role": "system", "content": SYSTEM_PROMPT},
    {
        "role": "user",
        "content": [
            {
                "type": "text",
                "text": "<your-command>",
            },
        ],
    },
]

data = {"model": model, "messages": messages, "temperature": 0.15}

response = requests.post(url, headers=headers, data=json.dumps(data))
print(response.json()["choices"][0]["message"]["content"])

Mistral-inference

我们建议使用mistral-inference快速试用Devstral。

安装

确保安装了mistral_inference >= 1.6.0：

pip install mistral_inference --upgrade

下载

from huggingface_hub import snapshot_download
from pathlib import Path

mistral_models_path = Path.home().joinpath('mistral_models', 'Devstral')
mistral_models_path.mkdir(parents=True, exist_ok=True)

snapshot_download(repo_id="mistralai/Devstral-Small-2505", allow_patterns=["params.json", "consolidated.safetensors", "tekken.json"], local_dir=mistral_models_path)

Python

你可以使用以下命令运行该模型：

mistral-chat $HOME/mistral_models/Devstral --instruct --max_tokens 300

然后你可以用任何你想要的内容进行提示。

Ollama

你可以使用Ollama命令行界面运行Devstral：

ollama run devstral

Transformers

为了充分利用我们的模型与transformers库，确保安装了mistral-common >= 1.5.5以使用我们的分词器：

pip install mistral-common --upgrade

然后加载我们的分词器和模型并生成文本：

import torch

from mistral_common.protocol.instruct.messages import (
    SystemMessage, UserMessage
)
from mistral_common.protocol.instruct.request import ChatCompletionRequest
from mistral_common.tokens.tokenizers.mistral import MistralTokenizer
from mistral_common.tokens.tokenizers.tekken import SpecialTokenPolicy
from huggingface_hub import hf_hub_download
from transformers import AutoModelForCausalLM

def load_system_prompt(repo_id: str, filename: str) -> str:
    file_path = hf_hub_download(repo_id=repo_id, filename=filename)
    with open(file_path, "r") as file:
        system_prompt = file.read()
    return system_prompt

model_id = "mistralai/Devstral-Small-2505"
tekken_file = hf_hub_download(repo_id=model_id, filename="tekken.json")
SYSTEM_PROMPT = load_system_prompt(model_id, "SYSTEM_PROMPT.txt")

tokenizer = MistralTokenizer.from_file(tekken_file)

model = AutoModelForCausalLM.from_pretrained(model_id)

tokenized = tokenizer.encode_chat_completion(
    ChatCompletionRequest(
        messages=[
            SystemMessage(content=SYSTEM_PROMPT),
            UserMessage(content="<your-command>"),
        ],
    )
)

output = model.generate(
    input_ids=torch.tensor([tokenized.tokens]),
    max_new_tokens=1000,
)[0]

decoded_output = tokenizer.decode(output[len(tokenized.tokens):])
print(decoded_output)

📄 许可证

本项目采用Apache 2.0许可证。

📦 模型信息