Devstral Small 2505 Gguf

🚀 Devstral-Small-2505 (gguf)

Devstralは、Mistral AI と All Hands AI の共同開発によるソフトウェアエンジニアリングタスク向けのエージェント型大規模言語モデルです。Devstralは、コードベースの探索、複数ファイルの編集、ソフトウェアエンジニアリングエージェントの強化などのツール使用に優れています。このモデルは、SWE-benchで卓越した性能を発揮し、このベンチマークにおけるオープンソースモデルとして1位にランクインしています。

これは Devstral-Small-2505 モデルのGGUFバージョンです。我々は、BF16ウェイトと以下の量子化形式をリリースしています。

• Q8_0 (推奨)
• Q5_K_M (推奨)
• Q4_K_M (推奨)
• Q4_0

このモデルは Mistral-Small-3.1 からファインチューニングされており、最大128kトークンの長いコンテキストウィンドウを持っています。コーディングエージェントとして、Devstralはテキストのみを扱い、Mistral-Small-3.1 からのファインチューニング前にビジョンエンコーダーは削除されています。

特殊な機能（コンテキストの拡張、ドメイン固有の知識など）を必要とする企業向けに、Mistral AIがコミュニティに提供する以上の商用モデルをリリースする予定です。

ブログ記事 でDevstralについてもっと詳しく学ぶことができます。

🚀 クイックスタート

当社のMistralでは、GGUF量子化チェックポイントをコミュニティに提供する経験はまだ十分ではありませんが、今後のエコシステムの改善に貢献したいと考えています。ここで提供されているチェックポイントに問題がある場合は、ディスカッションまたはプルリクエストを開いてください。

✨ 主な機能

• エージェント型コーディング：Devstralはエージェント型コーディングタスクで優れた性能を発揮するように設計されており、ソフトウェアエンジニアリングエージェントに最適な選択肢です。
• 軽量：わずか240億のパラメータで構成されているため、単一のRTX 4090または32GB RAMのMacでも実行できるほど軽量で、ローカルデプロイやデバイス上での使用に適したモデルです。
• Apache 2.0ライセンス：商用および非商用目的での使用と変更が許可されるオープンライセンスです。
• コンテキストウィンドウ：128kのコンテキストウィンドウを持っています。
• トークナイザー：語彙サイズが131kのTekkenトークナイザーを使用しています。

📦 インストール

こちら で説明されているように、OpenHands スキャフォールドを使用してDevstralを利用することをおすすめします。GGUF量子化チェックポイントを使用してローカルで利用する場合は、以下のセクションを参照してください。

ローカル推論 (GGUF)

huggingfaceからウェイトをダウンロードします。

pip install -U "huggingface_hub[cli]"
huggingface-cli download \
"mistralai/Devstral-Small-2505_gguf" \
--include "devstralQ4_K_M.gguf" \
--local-dir "mistralai/Devstral-Small-2505_gguf/"

LMStudio を使用してモデルをローカルでサーブすることができます。

• LM Studio をダウンロードしてインストールします。
• lms cli ~/.lmstudio/bin/lms bootstrap をインストールします。
• bashターミナルで、モデルチェックポイントをダウンロードしたディレクトリ（例：mistralai/Devstral-Small-2505_gguf）で lms import devstralQ4_K_M.ggu を実行します。
• LMStudioアプリケーションを開き、ターミナルアイコンをクリックして開発者タブに移動します。「モデルを選択して読み込む」をクリックし、Devstral Q4 K Mを選択します。ステータスボタンを切り替えてモデルを起動し、設定で「ローカルネットワークでサーブ」をオンにします。
• 右側のタブで、API識別子（devstralq4_k_m）とAPIアドレスが表示されます。このアドレスをメモしておき、次の手順で使用します。

これで、LM Studioからサーブされるモデルとopenhandsで対話することができます。dockerでopenhandsサーバーを起動します。

docker pull docker.all-hands.dev/all-hands-ai/runtime:0.38-nikolaik
docker run -it --rm --pull=always \
    -e SANDBOX_RUNTIME_CONTAINER_IMAGE=docker.all-hands.dev/all-hands-ai/runtime:0.38-nikolaik \
    -e LOG_ALL_EVENTS=true \
    -v /var/run/docker.sock:/var/run/docker.sock \
    -v ~/.openhands-state:/.openhands-state \
    -p 3000:3000 \
    --add-host host.docker.internal:host-gateway \
    --name openhands-app \
    docker.all-hands.dev/all-hands-ai/openhands:0.38

サーバーは http://0.0.0.0:3000 で起動します。ブラウザで開くと、AI Provider Configuration タブが表示されます。2行目の「詳細設定を表示」をクリックします。新しいタブで、「詳細」をオンにします。カスタムモデルを mistral/devstralq4_k_m に設定し、ベースURLをLM Studioの最後の手順で取得した APIアドレス に設定します。APIキーを dummy に設定し、「変更を保存」をクリックします。

📄 ライセンス

このプロジェクトはApache 2.0ライセンスの下で提供されています。