Devstral Small 2505 Fp8

🚀 Devstral-Small-2505

Devstral是一款專為軟件工程任務打造的智能大語言模型（LLM），由Mistral AI和All Hands AI合作開發。它在利用工具探索代碼庫、編輯多個文件以及驅動軟件工程智能體等方面表現出色。該模型在SWE-bench基準測試中取得了顯著成績，成為此基準測試中的開源模型第一名。

它基於Mistral-Small-3.1進行微調，因此擁有長達128k標記的長上下文窗口。作為一個編碼智能體，Devstral僅處理文本，在從Mistral-Small-3.1微調之前，移除了視覺編碼器。

對於需要特殊功能（如增加上下文、特定領域知識等）的企業，我們將發佈超越Mistral AI為社區貢獻的商業模型。

在我們的博客文章中瞭解更多關於Devstral的信息。

🚀 快速開始

該模型已使用LLMCompressor量化為FP8。

非常適合在雙GPU系統（如2x3090）上使用vLLM或SGlang運行：

vllm serve bullerwins/Devstral-Small-2505-fp8 --max-model-len 16000 --host 0.0.0.0 --port 5000 -tp 2 --tokenizer_mode mistral

✨ 主要特性

• 智能編碼：Devstral專為智能編碼任務而設計，是軟件工程智能體的理想選擇。
• 輕量級：僅240億參數的緊湊規模，Devstral輕到足以在單個RTX 4090或擁有32GB內存的Mac上運行，適合本地部署和設備端使用。
• Apache 2.0許可證：開放許可證，允許商業和非商業用途的使用和修改。
• 上下文窗口：128k的上下文窗口。
• 分詞器：使用詞彙量為131k的Tekken分詞器。

📚 詳細文檔

基準測試結果

SWE-Bench

Devstral在SWE-Bench Verified上的得分達到46.8%，比之前的開源最優模型高出6%。

模型	腳手架	SWE-Bench Verified (%)
Devstral	OpenHands Scaffold	46.8
GPT-4.1-mini	OpenAI Scaffold	23.6
Claude 3.5 Haiku	Anthropic Scaffold	40.6
SWE-smith-LM 32B	SWE-agent Scaffold	40.2

在相同的測試腳手架（由All Hands AI提供的OpenHands）下進行評估時，Devstral遠超Deepseek-V3-0324和Qwen3 232B-A22B等更大的模型。

使用方法

我們建議將Devstral與OpenHands腳手架一起使用。你可以通過我們的API或在本地運行來使用它。

API

按照這些說明創建Mistral賬戶並獲取API密鑰。

然後運行以下命令啟動OpenHands Docker容器：

export MISTRAL_API_KEY=<MY_KEY>

docker pull docker.all-hands.dev/all-hands-ai/runtime:0.39-nikolaik

mkdir -p ~/.openhands-state && echo '{"language":"en","agent":"CodeActAgent","max_iterations":null,"security_analyzer":null,"confirmation_mode":false,"llm_model":"mistral/devstral-small-2505","llm_api_key":"'$MISTRAL_API_KEY'","remote_runtime_resource_factor":null,"github_token":null,"enable_default_condenser":true}' > ~/.openhands-state/settings.json

docker run -it --rm --pull=always \
    -e SANDBOX_RUNTIME_CONTAINER_IMAGE=docker.all-hands.dev/all-hands-ai/runtime:0.39-nikolaik \
    -e LOG_ALL_EVENTS=true \
    -v /var/run/docker.sock:/var/run/docker.sock \
    -v ~/.openhands-state:/.openhands-state \
    -p 3000:3000 \
    --add-host host.docker.internal:host-gateway \
    --name openhands-app \
    docker.all-hands.dev/all-hands-ai/openhands:0.39

本地推理

該模型也可以使用以下庫進行部署：

• vllm (推薦)：見此處
• mistral-inference：見此處
• transformers：見此處
• LMStudio：見此處
• ollama：見此處

OpenHands（推薦）

啟動服務器部署Devstral-Small-2505

確保你按照上述說明啟動了一個兼容OpenAI的服務器，如vLLM或Ollama。然後，你可以使用OpenHands與Devstral-Small-2505進行交互。

在本教程中，我們通過運行以下命令啟動一個vLLM服務器：

vllm serve mistralai/Devstral-Small-2505 --tokenizer_mode mistral --config_format mistral --load_format mistral --tool-call-parser mistral --enable-auto-tool-choice --tensor-parallel-size 2

服務器地址應採用以下格式：http://<your-server-url>:8000/v1

啟動OpenHands

你可以按照此處的說明安裝OpenHands。

啟動OpenHands最簡單的方法是使用Docker鏡像：

docker pull docker.all-hands.dev/all-hands-ai/runtime:0.38-nikolaik

docker run -it --rm --pull=always \
    -e SANDBOX_RUNTIME_CONTAINER_IMAGE=docker.all-hands.dev/all-hands-ai/runtime:0.38-nikolaik \
    -e LOG_ALL_EVENTS=true \
    -v /var/run/docker.sock:/var/run/docker.sock \
    -v ~/.openhands-state:/.openhands-state \
    -p 3000:3000 \
    --add-host host.docker.internal:host-gateway \
    --name openhands-app \
    docker.all-hands.dev/all-hands-ai/openhands:0.38

然後，你可以在http://localhost:3000訪問OpenHands UI。

連接到服務器

訪問OpenHands UI時，系統會提示你連接到服務器。你可以使用高級模式連接到之前啟動的服務器。

填寫以下字段：

• 自定義模型：openai/mistralai/Devstral-Small-2505
• 基礎URL：http://<your-server-url>:8000/v1
• API密鑰：token（或者如果你在啟動服務器時使用了其他令牌，則填寫該令牌）

使用由Devstral驅動的OpenHands

現在你可以通過開始新對話在OpenHands中使用Devstral Small。讓我們來構建一個待辦事項列表應用程序。

待辦事項列表應用程序

1. 讓我們要求Devstral使用以下提示生成應用程序： ```txt 構建一個待辦事項列表應用程序，滿足以下要求： - 使用FastAPI和React構建。 - 使其成為單頁應用程序，具備以下功能： - 允許添加任務。 - 允許刪除任務。 - 允許將任務標記為已完成。 - 顯示任務列表。 - 將任務存儲在SQLite數據庫中。 ``` 

2. 查看結果 你應該會看到智能體構建應用程序，並能夠探索它生成的代碼。

如果它沒有自動完成，請要求Devstral部署應用程序或手動進行部署，然後訪問前端部署URL查看應用程序。

3. 迭代 現在你已經得到了第一個結果，可以通過要求智能體進行改進來進行迭代。例如，在生成的應用程序中，我們可以點擊任務將其標記為已選中，但添加一個複選框會改善用戶體驗。你還可以要求它添加編輯任務的功能，或者添加按狀態過濾任務的功能。

享受使用Devstral Small和OpenHands進行開發的樂趣！

vLLM（推薦）

我們建議使用vLLM庫來實現生產就緒的推理管道。

安裝

確保你安裝了vLLM >= 0.8.5：

pip install vllm --upgrade

這樣做應該會自動安裝mistral_common >= 1.5.5。 要進行檢查：

python -c "import mistral_common; print(mistral_common.__version__)"

你還可以使用現成的Docker鏡像或從Docker Hub獲取。

服務器

我們建議在服務器/客戶端設置中使用Devstral。

1. 啟動服務器：

vllm serve mistralai/Devstral-Small-2505 --tokenizer_mode mistral --config_format mistral --load_format mistral --tool-call-parser mistral --enable-auto-tool-choice --tensor-parallel-size 2

2. 要測試客戶端，你可以使用以下簡單的Python代碼片段：

import requests
import json
from huggingface_hub import hf_hub_download

url = "http://<your-server-url>:8000/v1/chat/completions"
headers = {"Content-Type": "application/json", "Authorization": "Bearer token"}

model = "mistralai/Devstral-Small-2505"

def load_system_prompt(repo_id: str, filename: str) -> str:
    file_path = hf_hub_download(repo_id=repo_id, filename=filename)
    with open(file_path, "r") as file:
        system_prompt = file.read()
    return system_prompt

SYSTEM_PROMPT = load_system_prompt(model, "SYSTEM_PROMPT.txt")

messages = [
    {"role": "system", "content": SYSTEM_PROMPT},
    {
        "role": "user",
        "content": [
            {
                "type": "text",
                "text": "<your-command>",
            },
        ],
    },
]

data = {"model": model, "messages": messages, "temperature": 0.15}

response = requests.post(url, headers=headers, data=json.dumps(data))
print(response.json()["choices"][0]["message"]["content"])

Mistral-inference

我們建議使用mistral-inference快速試用Devstral。

安裝

確保安裝了mistral_inference >= 1.6.0。

pip install mistral_inference --upgrade

下載

from huggingface_hub import snapshot_download
from pathlib import Path

mistral_models_path = Path.home().joinpath('mistral_models', 'Devstral')
mistral_models_path.mkdir(parents=True, exist_ok=True)

snapshot_download(repo_id="mistralai/Devstral-Small-2505", allow_patterns=["params.json", "consolidated.safetensors", "tekken.json"], local_dir=mistral_models_path)

Python

你可以使用以下命令運行模型：

mistral-chat $HOME/mistral_models/Devstral --instruct --max_tokens 300

然後你可以用任何你想要的內容進行提示。

Transformers

為了充分利用我們的模型與transformers，請確保安裝了mistral-common >= 1.5.5以使用我們的分詞器。

pip install mistral-common --upgrade

然後加載我們的分詞器和模型並生成結果：

import torch

from mistral_common.protocol.instruct.messages import (
    SystemMessage, UserMessage
)
from mistral_common.protocol.instruct.request import ChatCompletionRequest
from mistral_common.tokens.tokenizers.mistral import MistralTokenizer
from mistral_common.tokens.tokenizers.tekken import SpecialTokenPolicy
from huggingface_hub import hf_hub_download
from transformers import AutoModelForCausalLM

def load_system_prompt(repo_id: str, filename: str) -> str:
    file_path = hf_hub_download(repo_id=repo_id, filename=filename)
    with open(file_path, "r") as file:
        system_prompt = file.read()
    return system_prompt

model_id = "mistralai/Devstral-Small-2505"
tekken_file = hf_hub_download(repo_id=model_id, filename="tekken.json")
SYSTEM_PROMPT = load_system_prompt(model_id, "SYSTEM_PROMPT.txt")

tokenizer = MistralTokenizer.from_file(tekken_file)

model = AutoModelForCausalLM.from_pretrained(model_id)

tokenized = tokenizer.encode_chat_completion(
    ChatCompletionRequest(
        messages=[
            SystemMessage(content=SYSTEM_PROMPT),
            UserMessage(content="<your-command>"),
        ],
    )
)

output = model.generate(
    input_ids=torch.tensor([tokenized.tokens]),
    max_new_tokens=1000,
)[0]

decoded_output = tokenizer.decode(output[len(tokenized.tokens):])
print(decoded_output)

LMStudio

從Hugging Face下載權重：

pip install -U "huggingface_hub[cli]"
huggingface-cli download \
"mistralai/Devstral-Small-2505_gguf" \
--include "devstralQ4_K_M.gguf" \
--local-dir "mistralai/Devstral-Small-2505_gguf/"

你可以使用LMStudio在本地提供模型服務。

• 下載LM Studio並安裝。
• 安裝lms cli ~/.lmstudio/bin/lms bootstrap。
• 在bash終端中，在下載模型檢查點的目錄（例如mistralai/Devstral-Small-2505_gguf）中運行lms import devstralQ4_K_M.gguf。
• 打開LMStudio應用程序，點擊終端圖標進入開發者選項卡。點擊選擇要加載的模型並選擇Devstral Q4 K M。切換狀態按鈕以啟動模型，在設置中切換“在本地網絡上服務”為開啟狀態。
• 在右側選項卡中，你將看到一個API標識符（應該是devstralq4_k_m）和一個API地址。記錄下這個地址，我們將在下一步中使用它。

啟動Openhands 現在你可以使用Openhands與從LM Studio提供服務的模型進行交互。使用Docker啟動Openhands服務器：

docker pull docker.all-hands.dev/all-hands-ai/runtime:0.38-nikolaik
docker run -it --rm --pull=always \
    -e SANDBOX_RUNTIME_CONTAINER_IMAGE=docker.all-hands.dev/all-hands-ai/runtime:0.38-nikolaik \
    -e LOG_ALL_EVENTS=true \
    -v /var/run/docker.sock:/var/run/docker.sock \
    -v ~/.openhands-state:/.openhands-state \
    -p 3000:3000 \
    --add-host host.docker.internal:host-gateway \
    --name openhands-app \
    docker.all-hands.dev/all-hands-ai/openhands:0.38

點擊“查看高級設置”。 在新選項卡中，將高級模式切換為開啟狀態。將自定義模型設置為mistral/devstralq4_k_m，將基礎URL設置為我們在LM Studio的上一步中獲得的API地址。將API密鑰設置為dummy。點擊“保存更改”。

Ollama

你可以使用Ollama CLI運行Devstral。

ollama run devstral

📄 許可證

本項目採用Apache 2.0許可證，允許商業和非商業用途的使用和修改。

⚠️ 重要提示

如果你想了解更多關於我們如何處理你的個人數據的信息，請閱讀我們的隱私政策。