Devstral Small 2505 Gguf

🚀 Devstral-Small-2505 (gguf)

Devstral是一款專為軟件工程任務打造的智能大語言模型（LLM），由Mistral AI與All Hands AI合作開發。Devstral在利用工具探索代碼庫、編輯多個文件以及驅動軟件工程智能體方面表現出色。該模型在SWE-bench基準測試中取得了卓越的成績，使其成為此基準測試中的開源模型第一名。

這是Devstral-Small-2505模型的GGUF版本。我們發佈了BF16權重以及以下量化格式：

• Q8_0（推薦）
• Q5_K_M（推薦）
• Q4_K_M（推薦）
• Q4_0

它是基於Mistral-Small-3.1進行微調的，因此具有長達128k標記的長上下文窗口。作為一個編碼智能體，Devstral僅處理文本，並且在從Mistral-Small-3.1微調之前，移除了視覺編碼器。

對於需要特殊功能（如增加上下文、特定領域知識等）的企業，我們將發佈超出Mistral AI向社區貢獻範圍的商業模型。

您可以在我們的博客文章中瞭解更多關於Devstral的信息。

🚀 快速開始

重要提示

⚠️ 重要提示

在Mistral，我們在向社區提供GGUF量化檢查點方面經驗尚淺，但希望未來能幫助改善這一生態系統。如果您在使用此處提供的檢查點時遇到任何問題，請開啟討論或提交拉取請求。

✨ 主要特性

• 智能編碼：Devstral專為智能編碼任務而設計，是軟件工程智能體的理想選擇。
• 輕量級：僅240億參數，體積小巧，足以在單張RTX 4090或配備32GB內存的Mac上運行，適合本地部署和設備端使用。
• Apache 2.0許可證：開放許可證，允許商業和非商業用途的使用和修改。
• 上下文窗口：擁有128k的上下文窗口。
• 分詞器：使用詞彙量為131k的Tekken分詞器。

📦 安裝指南

本地推理（GGUF）

從Hugging Face下載權重：

pip install -U "huggingface_hub[cli]"
huggingface-cli download \
"mistralai/Devstral-Small-2505_gguf" \
--include "devstralQ4_K_M.gguf" \
--local-dir "mistralai/Devstral-Small-2505_gguf/"

您可以使用LMStudio在本地部署該模型：

1. 下載並安裝LM Studio。
2. 安裝lms cli ~/.lmstudio/bin/lms bootstrap。
3. 在bash終端中，在下載模型檢查點的目錄（例如mistralai/Devstral-Small-2505_gguf）中運行lms import devstralQ4_K_M.ggu。
4. 打開LMStudio應用程序，點擊終端圖標進入開發者選項卡。點擊“選擇要加載的模型”並選擇Devstral Q4 K M。切換狀態按鈕以啟動模型，在設置中切換“在本地網絡上服務”為開啟狀態。
5. 在右側選項卡中，您將看到一個API標識符（應為devstralq4_k_m）和一個API地址。請記錄此地址，我們將在下一步中使用。

💻 使用示例

基礎用法

您現在可以使用OpenHands與從LM Studio部署的模型進行交互。使用Docker啟動OpenHands服務器：

docker pull docker.all-hands.dev/all-hands-ai/runtime:0.38-nikolaik
docker run -it --rm --pull=always \
	-e SANDBOX_RUNTIME_CONTAINER_IMAGE=docker.all-hands.dev/all-hands-ai/runtime:0.38-nikolaik \
	-e LOG_ALL_EVENTS=true \
	-v /var/run/docker.sock:/var/run/docker.sock \
	-v ~/.openhands-state:/.openhands-state \
	-p 3000:3000 \
	--add-host host.docker.internal:host-gateway \
	--name openhands-app \
	docker.all-hands.dev/all-hands-ai/openhands:0.38

服務器將在http://0.0.0.0:3000啟動。在瀏覽器中打開該地址，您將看到一個“AI Provider Configuration”選項卡。點擊第二行的“查看高級設置”。在新選項卡中，將“advanced”切換為開啟狀態。將自定義模型設置為mistral/devstralq4_k_m，將基礎URL設置為我們在LM Studio最後一步中獲取的API地址。將API密鑰設置為dummy。點擊“保存更改”。

📄 許可證

本項目採用Apache 2.0許可證。