Devstral Small 2507

このモデルを本番環境で使用可能な推論パイプラインを実装するために、vLLMライブラリ を使用することをおすすめします。

インストール vLLM >= 0.9.1 をインストールしてください。

pip install vllm --upgrade

また、mistral_common >= 1.7.0 もインストールしてください。

pip install mistral-common --upgrade

確認するには、以下のコマンドを実行します。

python -c "import mistral_common; print(mistral_common.__version__)"

Dockerイメージ または Docker Hub を使用することもできます。

サーバーの起動 Devstralをサーバー/クライアント環境で使用することをおすすめします。

1. サーバーを起動します。

vllm serve mistralai/Devstral-Small-2507 --tokenizer_mode mistral --config_format mistral --load_format mistral --tool-call-parser mistral --enable-auto-tool-choice --tensor-parallel-size 2

2. クライアントをテストするには、以下のPythonスニペットを使用できます。

import requests
import json
from huggingface_hub import hf_hub_download


url = "http://<your-server-url>:8000/v1/chat/completions"
headers = {"Content-Type": "application/json", "Authorization": "Bearer token"}

model = "mistralai/Devstral-Small-2507"

def load_system_prompt(repo_id: str, filename: str) -> str:
    file_path = hf_hub_download(repo_id=repo_id, filename=filename)
    with open(file_path, "r") as file:
        system_prompt = file.read()
    return system_prompt

SYSTEM_PROMPT = load_system_prompt(model, "SYSTEM_PROMPT.txt")

messages = [
    {"role": "system", "content": SYSTEM_PROMPT},
    {
        "role": "user",
        "content": [
            {
                "type": "text",
                "text": "<your-command>",
            },
        ],
    },
]

data = {"model": model, "messages": messages, "temperature": 0.15}

# Devstral Small 1.1はツール呼び出しをサポートしています。ツールを使用する場合は、以下のようにします。
# tools = [ # vLLM用のツールを定義
#     {
#         "type": "function",
#         "function": {
#             "name": "git_clone",
#             "description": "Clone a git repository",
#             "parameters": {
#                 "type": "object",
#                 "properties": {
#                     "url": {
#                         "type": "string",
#                         "description": "The url of the git repository",
#                     },
#                 },
#                 "required": ["url"],
#             },
#         },
#     }
# ] 
# data = {"model": model, "messages": messages, "temperature": 0.15, "tools": tools} # ツールをペイロードに渡す。

response = requests.post(url, headers=headers, data=json.dumps(data))
print(response.json()["choices"][0]["message"]["content"])

Devstralをすぐに試すために、mistral-inferenceを使用することをおすすめします。

インストール mistral_inference >= 1.6.0をインストールしてください。

pip install mistral_inference --upgrade

ダウンロード

from huggingface_hub import snapshot_download
from pathlib import Path

mistral_models_path = Path.home().joinpath('mistral_models', 'Devstral')
mistral_models_path.mkdir(parents=True, exist_ok=True)

snapshot_download(repo_id="mistralai/Devstral-Small-2507", allow_patterns=["params.json", "consolidated.safetensors", "tekken.json"], local_dir=mistral_models_path)

チャット 以下のコマンドを実行して、モデルを実行できます。

mistral-chat $HOME/mistral_models/Devstral --instruct --max_tokens 300

その後、好きなプロンプトを入力できます。

transformersを使用してこのモデルを最大限に活用するには、mistral-common >= 1.7.0 をインストールしてトークナイザーを使用してください。

pip install mistral-common --upgrade

次に、トークナイザーとモデルを読み込み、生成を行います。

import torch

from mistral_common.protocol.instruct.messages import (
    SystemMessage, UserMessage
)
from mistral_common.protocol.instruct.request import ChatCompletionRequest
from mistral_common.tokens.tokenizers.mistral import MistralTokenizer
from huggingface_hub import hf_hub_download
from transformers import AutoModelForCausalLM

def load_system_prompt(repo_id: str, filename: str) -> str:
    file_path = hf_hub_download(repo_id=repo_id, filename=filename)
    with open(file_path, "r") as file:
        system_prompt = file.read()
    return system_prompt

model_id = "mistralai/Devstral-Small-2507"
SYSTEM_PROMPT = load_system_prompt(model_id, "SYSTEM_PROMPT.txt")


tokenizer = MistralTokenizer.from_hf_hub(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id)

tokenized = tokenizer.encode_chat_completion(
    ChatCompletionRequest(
        messages=[
            SystemMessage(content=SYSTEM_PROMPT),
            UserMessage(content="<your-command>"),
        ],
    )
)

output = model.generate(
    input_ids=torch.tensor([tokenized.tokens]),
    max_new_tokens=1000,
)[0]

decoded_output = tokenizer.decode(output[len(tokenized.tokens):])
print(decoded_output)

重みを以下のいずれかからダウンロードします。

• LM Studio GGUFリポジトリ（推奨）: https://huggingface.co/lmstudio-community/Devstral-Small-2507-GGUF
• 私たちのGGUFリポジトリ: https://huggingface.co/mistralai/Devstral-Small-2507_gguf

pip install -U "huggingface_hub[cli]"
huggingface-cli download \
"lmstudio-community/Devstral-Small-2507-GGUF" \ # または mistralai/Devstral-Small-2507_gguf
--include "Devstral-Small-2507-Q4_K_M.gguf" \
--local-dir "Devstral-Small-2507_gguf/"

LMStudio を使用してモデルをローカルで実行できます。

• LM Studio をダウンロードしてインストールします。
• lms cli ~/.lmstudio/bin/lms bootstrap をインストールします。
• bashターミナルで、モデルチェックポイントをダウンロードしたディレクトリ（例: Devstral-Small-2507_gguf）で lms import Devstral-Small-2507-Q4_K_M.gguf を実行します。
• LM Studioアプリケーションを開き、ターミナルアイコンをクリックして開発者タブに移動します。「モデルを選択して読み込む」をクリックし、Devstral Small 2507 を選択します。ステータスボタンを切り替えてモデルを起動し、設定で「ローカルネットワークでサーブ」をオンにします。
• 右側のタブに、API識別子（devstral-small-2507）とAPIアドレスが表示されます。このアドレスをメモしておき、OpenHandsまたはClineで使用します。

重みをHugging Faceからダウンロードします。

pip install -U "huggingface_hub[cli]"
huggingface-cli download \
"mistralai/Devstral-Small-2507_gguf" \
--include "Devstral-Small-2507-Q4_K_M.gguf" \
--local-dir "mistralai/Devstral-Small-2507_gguf/"

次に、llama.cppサーバーを使用してDevstralを実行します。

./llama-server -m mistralai/Devstral-Small-2507_gguf/Devstral-Small-2507-Q4_K_M.gguf -c 0 # -cでコンテキストサイズを設定します。0はモデルのデフォルト値（ここでは128k）を意味します。