Devstral Small 2507 FP8

我們建議使用[vLLM庫](https://github.com/vllm - project/vllm)來實現生產就緒的推理管道。

安裝

確保安裝了[vLLM >= 0.9.1](https://github.com/vllm - project/vllm/releases/tag/v0.9.1)：

pip install vllm --upgrade

同時確保安裝了[mistral_common >= 1.7.0](https://github.com/mistralai/mistral - common/releases/tag/v1.7.0)：

pip install mistral - common --upgrade

檢查版本：

python -c "import mistral_common; print(mistral_common.__version__)"

你也可以使用現成的[Docker鏡像](https://github.com/vllm - project/vllm/blob/main/Dockerfile)或[Docker Hub](https://hub.docker.com/layers/vllm/vllm - openai/latest/images/sha256 - de9032a92ffea7b5c007dad80b38fd44aac11eddc31c435f8e52f3b7404bbf39)上的鏡像。

啟動服務器 我們建議在服務器/客戶端環境中使用Devstral。

1. 啟動服務器：

vllm serve mistralai/Devstral - Small - 2507 --tokenizer_mode mistral --config_format mistral --load_format mistral --tool - call - parser mistral --enable - auto - tool - choice --tensor - parallel - size 2

2. 你可以使用一個簡單的Python代碼片段來測試客戶端：

import requests
import json
from huggingface_hub import hf_hub_download


url = "http://<your - server - url>:8000/v1/chat/completions"
headers = {"Content - Type": "application/json", "Authorization": "Bearer token"}

model = "mistralai/Devstral - Small - 2507"

def load_system_prompt(repo_id: str, filename: str) -> str:
    file_path = hf_hub_download(repo_id = repo_id, filename = filename)
    with open(file_path, "r") as file:
        system_prompt = file.read()
    return system_prompt

SYSTEM_PROMPT = load_system_prompt(model, "SYSTEM_PROMPT.txt")

messages = [
    {"role": "system", "content": SYSTEM_PROMPT},
    {
        "role": "user",
        "content": [
            {
                "type": "text",
                "text": "<your - command>",
            },
        ],
    },
]

data = {"model": model, "messages": messages, "temperature": 0.15}

# Devstral Small 1.1支持工具調用。如果你想使用工具，請按以下方式操作：
# tools = [ # 為vLLM定義工具
#     {
#         "type": "function",
#         "function": {
#             "name": "git_clone",
#             "description": "克隆一個git倉庫",
#             "parameters": {
#                 "type": "object",
#                 "properties": {
#                     "url": {
#                         "type": "string",
#                         "description": "git倉庫的URL",
#                     },
#                 },
#                 "required": ["url"],
#             },
#         },
#     }
# ] 
# data = {"model": model, "messages": messages, "temperature": 0.15, "tools": tools} # 將工具傳遞給負載。

response = requests.post(url, headers = headers, data = json.dumps(data))
print(response.json()["choices"][0]["message"]["content"])

我們建議使用mistral - inference快速試用Devstral。

安裝 確保安裝了mistral_inference >= 1.6.0：

pip install mistral_inference --upgrade

下載

from huggingface_hub import snapshot_download
from pathlib import Path

mistral_models_path = Path.home().joinpath('mistral_models', 'Devstral')
mistral_models_path.mkdir(parents = True, exist_ok = True)

snapshot_download(repo_id = "mistralai/Devstral - Small - 2507", allow_patterns = ["params.json", "consolidated.safetensors", "tekken.json"], local_dir = mistral_models_path)

聊天 你可以使用以下命令運行模型：

mistral - chat $HOME/mistral_models/Devstral --instruct --max_tokens 300

然後你可以輸入任何你想要的提示。

為了充分利用transformers使用我們的模型，請確保安裝了[mistral - common >= 1.7.0](https://github.com/mistralai/mistral - common)以使用我們的分詞器：

pip install mistral - common --upgrade

然後加載我們的分詞器和模型並生成結果：

import torch

from mistral_common.protocol.instruct.messages import (
    SystemMessage, UserMessage
)
from mistral_common.protocol.instruct.request import ChatCompletionRequest
from mistral_common.tokens.tokenizers.mistral import MistralTokenizer
from huggingface_hub import hf_hub_download
from transformers import AutoModelForCausalLM

def load_system_prompt(repo_id: str, filename: str) -> str:
    file_path = hf_hub_download(repo_id = repo_id, filename = filename)
    with open(file_path, "r") as file:
        system_prompt = file.read()
    return system_prompt

model_id = "mistralai/Devstral - Small - 2507"
SYSTEM_PROMPT = load_system_prompt(model_id, "SYSTEM_PROMPT.txt")


tokenizer = MistralTokenizer.from_hf_hub(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id)

tokenized = tokenizer.encode_chat_completion(
    ChatCompletionRequest(
        messages=[
            SystemMessage(content = SYSTEM_PROMPT),
            UserMessage(content = "<your - command>"),
        ],
    )
)

output = model.generate(
    input_ids = torch.tensor([tokenized.tokens]),
    max_new_tokens = 1000,
)[0]

decoded_output = tokenizer.decode(output[len(tokenized.tokens):])
print(decoded_output)

從以下任意一處下載權重：

• LM Studio GGUF倉庫（推薦）：https://huggingface.co/lmstudio - community/Devstral - Small - 2507 - GGUF
• 我們的GGUF倉庫：https://huggingface.co/mistralai/Devstral - Small - 2507_gguf

pip install -U "huggingface_hub[cli]"
huggingface - cli download \
"lmstudio - community/Devstral - Small - 2507 - GGUF" \ # 或 mistralai/Devstral - Small - 2507_gguf
--include "Devstral - Small - 2507 - Q4_K_M.gguf" \
--local - dir "Devstral - Small - 2507_gguf/"

你可以使用LMStudio在本地部署模型：

• 下載並安裝LM Studio
• 安裝lms cli ~/.lmstudio/bin/lms bootstrap
• 在bash終端中，在下載模型檢查點的目錄（例如Devstral - Small - 2507_gguf）中運行lms import Devstral - Small - 2507 - Q4_K_M.gguf
• 打開LM Studio應用程序，點擊終端圖標進入開發者選項卡。點擊“選擇模型加載”並選擇Devstral Small 2507。切換狀態按鈕啟動模型，在設置中切換“在本地網絡上服務”為開啟狀態。
• 在右側選項卡中，你將看到一個API標識符（應為devstral - small - 2507）和一個API地址。請記錄此地址，用於OpenHands或Cline。

從huggingface下載權重：

pip install -U "huggingface_hub[cli]"
huggingface - cli download \
"mistralai/Devstral - Small - 2507_gguf" \
--include "Devstral - Small - 2507 - Q4_K_M.gguf" \
--local - dir "mistralai/Devstral - Small - 2507_gguf/"

然後使用llama.cpp服務器運行Devstral：

./llama - server -m mistralai/Devstral - Small - 2507_gguf/Devstral - Small - 2507 - Q4_K_M.gguf -c 0 # -c配置上下文大小，0表示模型默認值，此處為128k。