Devstral Small 2507 FP8

🚀 Devstral Small 1.1

Devstralは、Mistral AI と All Hands AI が共同で開発した、ソフトウェアエンジニアリングタスク向けのエージェント型大規模言語モデル（LLM）です🙌。Devstralは、コードベースの探索、複数ファイルの編集、ソフトウェアエンジニアリングエージェントの強化などのタスクで優れた性能を発揮します。このモデルは、SWE-benchで顕著なパフォーマンスを達成し、このベンチマークにおいてオープンソースモデルのトップを占めています。

このモデルは、Mistral-Small-3.1 をファインチューニングしたもので、最大128kトークンの長いコンテキストウィンドウを持っています。コーディングエージェントとして、Devstralはテキストのみを扱い、Mistral-Small-3.1 からのファインチューニング前にビジョンエンコーダーは削除されています。

特殊な機能（コンテキストの拡張、ドメイン固有の知識など）を必要とする企業向けに、Mistral AIがコミュニティに提供するもの以上の商用モデルをリリースする予定です。

ブログ記事 でDevstralについてもっと詳しく学ぶことができます。

Devstral Small 1.0 との比較による更新点:

• パフォーマンスが向上しています。詳細はベンチマーク結果を参照してください。
• Devstral Small 1.1 は、OpenHandsと組み合わせて使用する場合も引き続き優れた性能を発揮します。この新バージョンは、他のプロンプトやコーディング環境にもより汎用的に対応しています。
• Mistralの関数呼び出し形式 をサポートしています。

✨ 主な機能

• エージェント型コーディング: Devstralは、エージェント型コーディングタスクで優れた性能を発揮するように設計されており、ソフトウェアエンジニアリングエージェントに最適な選択肢です。
• 軽量: わずか240億のパラメータで構成されているため、単一のRTX 4090や32GB RAMのMacでも実行できるほど軽量で、ローカルデプロイやデバイス上での使用に適したモデルです。
• Apache 2.0ライセンス: 商用および非商用目的での使用と改変が許可されるオープンライセンスです。
• コンテキストウィンドウ: 最大128kトークンのコンテキストウィンドウを持っています。
• トークナイザー: 語彙サイズが131kのTekkenトークナイザーを使用しています。

📊 ベンチマーク結果

SWE-Bench

Devstral Small 1.1は、SWE-Bench Verifiedで 53.6% のスコアを達成し、Devstral Small 1.0を+6.8%上回り、2番目に優れた最先端モデルを+11.4%上回っています。

同じテストスキャフォールド（All Hands AIによるOpenHands🙌）で評価した場合、DevstralはDeepseek-V3-0324やQwen3 232B-A22Bなどのはるかに大きなモデルを上回っています。

💻 使用例

基本的な使用法

OpenHands スキャフォールドを使用してDevstralを使うことをおすすめします。APIを通じて、またはローカルで実行することができます。

API

これらの手順 に従って、Mistralアカウントを作成し、APIキーを取得してください。

次に、OpenHandsのDockerコンテナを起動するために、以下のコマンドを実行します。

export MISTRAL_API_KEY=<MY_KEY>

mkdir -p ~/.openhands && echo '{"language":"en","agent":"CodeActAgent","max_iterations":null,"security_analyzer":null,"confirmation_mode":false,"llm_model":"mistral/devstral-small-2507","llm_api_key":"'$MISTRAL_API_KEY'","remote_runtime_resource_factor":null,"github_token":null,"enable_default_condenser":true}' > ~/.openhands-state/settings.json

docker pull docker.all-hands.dev/all-hands-ai/runtime:0.48-nikolaik

docker run -it --rm --pull=always \
    -e SANDBOX_RUNTIME_CONTAINER_IMAGE=docker.all-hands.dev/all-hands-ai/runtime:0.48-nikolaik \
    -e LOG_ALL_EVENTS=true \
    -v /var/run/docker.sock:/var/run/docker.sock \
    -v ~/.openhands:/.openhands \
    -p 3000:3000 \
    --add-host host.docker.internal:host-gateway \
    --name openhands-app \
    docker.all-hands.dev/all-hands-ai/openhands:0.48

ローカル推論

このモデルは、以下のライブラリを使用してデプロイすることもできます。

• vllm (おすすめ): こちら を参照してください。
• mistral-inference: こちら を参照してください。
• transformers: こちら を参照してください。
• LMStudio: こちら を参照してください。
• llama.cpp: こちら を参照してください。
• ollama: こちら を参照してください。

高度な使用法

vLLM (おすすめ)

pip install vllm --upgrade

pip install mistral-common --upgrade

python -c "import mistral_common; print(mistral_common.__version__)"

vllm serve mistralai/Devstral-Small-2507 --tokenizer_mode mistral --config_format mistral --load_format mistral --tool-call-parser mistral --enable-auto-tool-choice --tensor-parallel-size 2

import requests
import json
from huggingface_hub import hf_hub_download

url = "http://<your-server-url>:8000/v1/chat/completions"
headers = {"Content-Type": "application/json", "Authorization": "Bearer token"}

model = "mistralai/Devstral-Small-2507"

def load_system_prompt(repo_id: str, filename: str) -> str:
    file_path = hf_hub_download(repo_id=repo_id, filename=filename)
    with open(file_path, "r") as file:
        system_prompt = file.read()
    return system_prompt

SYSTEM_PROMPT = load_system_prompt(model, "SYSTEM_PROMPT.txt")

messages = [
    {"role": "system", "content": SYSTEM_PROMPT},
    {
        "role": "user",
        "content": [
            {
                "type": "text",
                "text": "<your-command>",
            },
        ],
    },
]

data = {"model": model, "messages": messages, "temperature": 0.15}

# Devstral Small 1.1はツール呼び出しをサポートしています。ツールを使用する場合は、以下のようにします。
# tools = [ # vLLM用のツールを定義します。
#     {
#         "type": "function",
#         "function": {
#             "name": "git_clone",
#             "description": "gitリポジトリをクローンします。",
#             "parameters": {
#                 "type": "object",
#                 "properties": {
#                     "url": {
#                         "type": "string",
#                         "description": "gitリポジトリのURL",
#                     },
#                 },
#                 "required": ["url"],
#             },
#         },
#     }
# ] 
# data = {"model": model, "messages": messages, "temperature": 0.15, "tools": tools} # ツールをペイロードに渡します。

response = requests.post(url, headers=headers, data=json.dumps(data))
print(response.json()["choices"][0]["message"]["content"])

Mistral-inference

pip install mistral_inference --upgrade

from huggingface_hub import snapshot_download
from pathlib import Path

mistral_models_path = Path.home().joinpath('mistral_models', 'Devstral')
mistral_models_path.mkdir(parents=True, exist_ok=True)

snapshot_download(repo_id="mistralai/Devstral-Small-2507", allow_patterns=["params.json", "consolidated.safetensors", "tekken.json"], local_dir=mistral_models_path)

mistral-chat $HOME/mistral_models/Devstral --instruct --max_tokens 300

Transformers

</details>

#### LM Studio
<details>
<summary>展開する</summary>
以下のいずれかから重みをダウンロードします。
- LM Studio GGUFリポジトリ (おすすめ): https://huggingface.co/lmstudio-community/Devstral-Small-2507-GGUF
- 独自のGGUFリポジトリ: https://huggingface.co/mistralai/Devstral-Small-2507_gguf
```bash
pip install -U "huggingface_hub[cli]"
huggingface-cli download \
"lmstudio-community/Devstral-Small-2507-GGUF" \ # または mistralai/Devstral-Small-2507_gguf
--include "Devstral-Small-2507-Q4_K_M.gguf" \
--local-dir "Devstral-Small-2507_gguf/"

llama.cpp

OpenHands (おすすめ)

Devstral Small 1.1をデプロイするサーバーの起動

前述のように、vLLMやOllamaなどのOpenAI互換サーバーを起動してください。その後、OpenHandsを使用して Devstral Small 1.1 とやり取りすることができます。

チュートリアルでは、以下のコマンドを実行してvLLMサーバーを起動します。

vllm serve mistralai/Devstral-Small-2507 --tokenizer_mode mistral --config_format mistral --load_format mistral --tool-call-parser mistral --enable-auto-tool-choice --tensor-parallel-size 2

サーバーアドレスは、http://<your-server-url>:8000/v1 の形式になります。

OpenHandsの起動

OpenHandsのインストール方法は、こちら を参照してください。 OpenHandsを起動する最も簡単な方法は、Dockerイメージを使用することです。

docker pull docker.all-hands.dev/all-hands-ai/runtime:0.48-nikolaik

docker run -it --rm --pull=always \
    -e SANDBOX_RUNTIME_CONTAINER_IMAGE=docker.all-hands.dev/all-hands-ai/runtime:0.48-nikolaik \
    -e LOG_ALL_EVENTS=true \
    -v /var/run/docker.sock:/var/run/docker.sock \
    -v ~/.openhands:/.openhands \
    -p 3000:3000 \
    --add-host host.docker.internal:host-gateway \
    --name openhands-app \
    docker.all-hands.dev/all-hands-ai/openhands:0.48

その後、http://localhost:3000 でOpenHandsのUIにアクセスできます。

サーバーへの接続

OpenHandsのUIにアクセスすると、サーバーに接続するように促されます。詳細モードを使用して、先に起動したサーバーに接続できます。 以下のフィールドを入力します。

• カスタムモデル: openai/mistralai/Devstral-Small-2507
• ベースURL: http://<your-server-url>:8000/v1
• APIキー: token（またはサーバーを起動する際に使用したトークン）

Cline

Devstral Small 1.1をデプロイするサーバーの起動

前述のように、vLLMやOllamaなどのOpenAI互換サーバーを起動してください。その後、OpenHandsを使用して Devstral Small 1.1 とやり取りすることができます。

チュートリアルでは、以下のコマンドを実行してvLLMサーバーを起動します。

vllm serve mistralai/Devstral-Small-2507 --tokenizer_mode mistral --config_format mistral --load_format mistral --tool-call-parser mistral --enable-auto-tool-choice --tensor-parallel-size 2

サーバーアドレスは、http://<your-server-url>:8000/v1 の形式になります。

Clineの起動

Clineのインストール方法は、こちら を参照してください。その後、設定でサーバーアドレスを構成できます。

実際の使用例

OpenHands: Mistral Commonのテストカバレッジの理解

OpenHandsスキャフォールドを起動し、リポジトリにリンクして、テストカバレッジを分析し、カバレッジが不十分なファイルを特定することができます。ここでは、公開されている mistral-common リポジトリから始めます。

リポジトリがワークスペースにマウントされた後、以下の指示を与えます。

リポジトリのテストカバレッジを確認し、テストカバレッジの可視化を作成してください。いくつかの異なるタイプのグラフをプロットしてみて、それらをpngファイルに保存してください。

エージェントはまず、コードベースを調べてテスト設定と構造を確認します。 次に、テスト依存関係を設定し、カバレッジテストを開始します。 最後に、エージェントはカバレッジを可視化するために必要なコードを記述し、結果をエクスポートし、プロットをpngファイルに保存します。 実行の最後に、以下のプロットが生成されます。 そして、モデルは結果を説明することができます。

Cline: ビデオゲームの作成

まず、VSCode内でClineを初期化し、先に起動したサーバーに接続します。

ビデオゲームを作成するために、以下の指示を与えます。

ウェブ用のSpace InvadersとPongを融合したビデオゲームを作成してください。

以下の指示に従ってください。
- 2人のプレイヤーがいて、1人は画面の上部、もう1人は下部にいます。プレイヤーはバーを操作してボールを弾き返します。
- 1人目のプレイヤーは「a」と「d」のキーで操作し、2人目のプレイヤーは左右の矢印キーで操作します。
- インベーダーは画面の中央に配置されています。彼らはSpace Invadersのインベーダーのように見える必要があります。彼らの目標は、ランダムにプレイヤーを撃つことです。彼らはボールによって破壊されることはなく、ボールは彼らを通過します。つまり、インベーダーは決して死ぬことはありません。
- プレイヤーの目標は、宇宙インベーダーからの攻撃を避け、ボールを相手のプレイヤーの端に送ることです。
- ボールは左右の端で跳ね返ります。
- ボールがプレイヤーの端に触れると、そのプレイヤーは負けます。
- プレイヤーが攻撃を3回以上受けると、そのプレイヤーは負けます。
- 最後に残ったプレイヤーが勝者です。
- UIに、プレイヤーがボールに触れた回数と残りの体力を表示してください。

エージェントはまず、ゲームを作成します。 次に、ゲームの起動方法を説明します。 最後に、ゲームがプレイ可能になります。 Devstralに繰り返し指示を与えたり、より多くの情報を提供したりして、ゲームを改善してください！

📄 ライセンス

このプロジェクトは、Apache 2.0ライセンスの下でライセンスされています。