Devstral Small 2505 GGUF

🚀 Devstral-Small-2505 GGUF模型

Devstral-Small-2505 GGUF模型是專為軟件工程項目打造的高效語言模型。它具備輕量級的優勢，能在常見設備上流暢運行，同時擁有128k的大上下文窗口，可處理複雜的編碼任務。此外，該模型採用Apache 2.0許可證，方便商業和非商業使用。

🚀 快速開始

環境準備

確保你的設備滿足以下要求：

• 若使用BF16格式，設備需支持BF16加速。
• 若使用F16格式，設備需支持FP16加速。
• 若使用量化模型，需根據模型的內存需求合理分配資源。

模型部署

你可以通過以下方式部署模型：

• API方式：按照說明創建Mistral賬戶並獲取API密鑰，然後運行相應的Docker命令啟動OpenHands容器。
• 本地推理：可使用LMStudio或其他指定的庫進行本地推理，具體步驟可參考文檔中的相關內容。

✨ 主要特性

模型生成特性

• 本模型使用llama.cpp在提交版本f5cd27b7下生成。

超低比特量化特性

• 引入精度自適應量化方法，用於超低比特（1 - 2比特）模型，在Llama - 3 - 8B上經基準測試證明有顯著改進。
• 採用層特定策略，在保持極高內存效率的同時保證準確性。

模型格式特性

• BF16（Brain Float 16）：專為快速計算設計，保留良好精度，動態範圍與FP32相似，但內存使用更低。
• F16（Float 16）：比BF16更廣泛支持，適用於大多數支持FP16加速的設備。
• 量化模型（Q4_K、Q6_K、Q8等）：減少模型大小和內存使用，同時儘可能保持準確性。
• 極低比特量化（IQ3_XS、IQ3_S、IQ3_M、Q4_K、Q4_0）：針對極端內存效率進行優化，適用於低功耗設備或大規模部署。

編碼特性

• 智能編碼：擅長智能編碼任務，是軟件工程代理的理想選擇。
• 輕量級：僅240億參數，可在單張RTX 4090或32GB RAM的Mac上運行，適合本地部署和設備端使用。
• 大上下文窗口：擁有128k的上下文窗口，能處理長文本任務。
• 分詞器：使用Tekken分詞器，詞彙量為131k。

📦 安裝指南

下載模型文件

根據你的需求選擇合適的模型文件，如Devstral-Small-2505-bf16.gguf、Devstral-Small-2505-f16.gguf等。

部署模型

API部署

1. 創建Mistral賬戶並獲取API密鑰。
2. 運行以下命令啟動OpenHands容器：

export MISTRAL_API_KEY=<MY_KEY>

docker pull docker.all-hands.dev/all-hands-ai/runtime:0.39-nikolaik

mkdir -p ~/.openhands-state && echo '{"language":"en","agent":"CodeActAgent","max_iterations":null,"security_analyzer":null,"confirmation_mode":false,"llm_model":"mistral/devstral-small-2505","llm_api_key":"'$MISTRAL_API_KEY'","remote_runtime_resource_factor":null,"github_token":null,"enable_default_condenser":true}' > ~/.openhands-state/settings.json

docker run -it --rm --pull=always \
    -e SANDBOX_RUNTIME_CONTAINER_IMAGE=docker.all-hands.dev/all-hands-ai/runtime:0.39-nikolaik \
    -e LOG_ALL_EVENTS=true \
    -v /var/run/docker.sock:/var/run/docker.sock \
    -v ~/.openhands-state:/.openhands-state \
    -p 3000:3000 \
    --add-host host.docker.internal:host-gateway \
    --name openhands-app \
    docker.all-hands.dev/all-hands-ai/openhands:0.39

本地推理部署

以LMStudio為例：

1. 下載並安裝LMStudio。
2. 導入Devstral-Small-2505模型。
3. 啟動Openhands：

docker pull docker.all-hands.dev/all-hands-ai/runtime:0.38-nikolaik
docker run -it --rm --pull=always \
    -e SANDBOX_RUNTIME_CONTAINER_IMAGE=docker.all-hands.dev/all-hands-ai/runtime:0.38-nikolaik \
    -e LOG_ALL_EVENTS=true \
    -v /var/run/docker.sock:/var/run/docker.sock \
    -v ~/.openhands-state:/.openhands-state \
    -p 3000:3000 \
    --add-host host.docker.internal:host-gateway \
    --name openhands-app \
    docker.all-hands.dev/all-hands-ai/openhands:0.38

💻 使用示例

基礎用法

以下是使用OpenHands與Devstral-Small-2505交互的示例：

# 啟動vLLM服務器
vllm serve mistralai/Devstral-Small-2505 --tokenizer_mode mistral --config_format mistral --load_format mistral --tool-call-parser mistral --enable-auto-tool-choice --tensor-parallel-size 2

# 啟動OpenHands
docker pull docker.all-hands.dev/all-hands-ai/runtime:0.38-nikolaik
docker run -it --rm --pull=always \
    -e SANDBOX_RUNTIME_CONTAINER_IMAGE=docker.all-hands.dev/all-hands-ai/runtime:0.38-nikolaik \
    -e LOG_ALL_EVENTS=true \
    -v /var/run/docker.sock:/var/run/docker.sock \
    -v ~/.openhands-state:/.openhands-state \
    -p 3000:3000 \
    --add-host host.docker.internal:host-gateway \
    --name openhands-app \
    docker.all-hands.dev/all-hands-ai/openhands:0.38

高級用法

構建待辦事項應用

Build a To-Do list app with the following requirements:
- Built using FastAPI and React.
- Make it a one page app that:
   - Allows to add a task.
   - Allows to delete a task.
   - Allows to mark a task as done.
   - Displays the list of tasks.
- Store the tasks in a SQLite database.

📚 詳細文檔

模型生成細節

本模型使用llama.cpp在提交版本f5cd27b7下生成。

超低比特量化（1 - 2比特）

基準測試背景

所有測試均在Llama - 3 - 8B - Instruct上進行，使用標準困惑度評估管道、2048令牌上下文窗口，並在所有量化中使用相同的提示集。

方法

• 動態精度分配：
  • 前/後25%的層 → IQ4_XS（選定層）
  • 中間50% → IQ2_XXS/IQ3_S（提高效率）
• 關鍵組件保護：
  • 嵌入/輸出層使用Q5_K
  • 與標準1 - 2比特量化相比，誤差傳播降低38%

量化性能比較（Llama - 3 - 8B）

使用場景

• 將模型裝入GPU顯存
• 內存受限的部署
• 可容忍1 - 2比特誤差的CPU和邊緣設備
• 超低比特量化研究

選擇合適的模型格式

BF16（Brain Float 16）

適用於支持BF16加速的設備，提供更快的計算速度和較低的內存使用。

• 使用場景：設備支持BF16、需要更高精度並節省內存、計劃將模型重新量化為其他格式。
• 避免場景：設備不支持BF16、需要與缺乏BF16優化的舊設備兼容。

F16（Float 16）

比BF16更廣泛支持，適用於大多數支持FP16加速的設備。

• 使用場景：設備支持FP16但不支持BF16、需要在速度、內存使用和準確性之間取得平衡、在為FP16計算優化的GPU或其他設備上運行。
• 避免場景：設備缺乏原生FP16支持、有內存限制。

量化模型（Q4_K、Q6_K、Q8等）

適用於CPU和低顯存推理，減少模型大小和內存使用，同時保持一定的準確性。

• 使用場景：在CPU上運行推理、設備顯存低、希望在保持合理準確性的同時減少內存佔用。
• 避免場景：需要最高準確性、硬件有足夠的顯存支持更高精度的格式（BF16/F16）。

極低比特量化（IQ3_XS、IQ3_S、IQ3_M、Q4_K、Q4_0）

針對極端內存效率進行優化，適用於低功耗設備或大規模部署。

包含的文件及詳情

測試模型

測試說明

如果你覺得這些模型有用，請點擊“點贊”！同時，你可以幫助測試AI驅動的網絡監控助手，進行量子就緒的安全檢查。

測試步驟

1. 選擇AI助手類型：
   • TurboLLM（GPT - 4o - mini）
   • HugLLM（Hugginface開源）
2. 示例命令：
   • "Give me info on my websites SSL certificate"
   • "Check if my server is using quantum safe encyption for communication"
   • "Run a comprehensive security audit on my server"
   • "Create a cmd processor to .. (what ever you want)"（需安裝免費網絡監控代理以運行.net代碼，此功能強大且靈活，使用時需謹慎！）

最終說明

模型創建和免費網絡監控項目背後的所有代碼均為開源。如果你欣賞這些工作，請考慮請作者喝咖啡。作者也歡迎工作機會或贊助。

🔧 技術細節

基準測試

在SWE - Bench Verified上，Devstral取得了46.8%的分數，比之前的開源最優模型高出6%。

在相同的測試腳手架（OpenHands）下，Devstral超越了Deepseek - V3 - 0324和Qwen3 232B - A22B等更大的模型。

模型使用

推薦使用[OpenHands](https://github.com/All - Hands - AI/OpenHands/tree/main)腳手架與Devstral交互。可以通過API或本地推理的方式使用模型。

📄 許可證

本項目採用Apache 2.0許可證，允許商業和非商業使用及修改。