SWE Dev 32B GGUF

🚀 SWE-Dev-32B GGUF模型

SWE-Dev-32B GGUF模型是基於特定基礎模型和技術生成的模型，在軟件工程任務中有著出色的表現，並且提供了獨特的量化方法來提升模型精度。

🚀 快速開始

模型信息

相關鏈接

• 📝 論文
• 🌐 Github
• 🤗 SWE-Dev-7B (Qwen-2.5-Coder-7B-Instruct)
• 🤗 SWE-Dev-9B (GLM-4-9B-Chat)
• 🤗 SWE-Dev-32B (Qwen-2.5-Coder-32B-Instruct)
• 🤗 SWE-Dev-train (訓練數據)

✨ 主要特性

模型生成細節

此模型使用 llama.cpp 在提交版本 0a5a3b5c 時生成。

超越IMatrix的量化方法

嘗試了一種新的量化方法，該方法有選擇地提高關鍵層的精度，超越了默認IMatrix配置所提供的精度。在測試中，標準IMatrix量化在低比特深度下表現不佳，特別是對於專家混合（MoE）模型。為了解決這個問題，使用 llama.cpp 中的 --tensor-type 選項手動將重要層的精度提高。具體實現可參考：👉 使用llama.cpp進行層提升。雖然這會增加模型文件的大小，但顯著提高了給定量化級別的精度。

模型性能與優勢

SWE-Dev-7B和32B基於開源框架（OpenHands）和模型，在SWE-bench-Verified上分別實現了23.4%和36.6%的解決率，甚至接近GPT-4o的性能。研究發現，訓練數據擴展和推理擴展都可以有效提高模型在SWE-bench上的性能。此外，結合強化微調（RFT）時，更高的數據質量進一步改善了這一趨勢。對於推理擴展，SWE-Dev的解決率從30輪的34.0%提高到75輪的36.6%。

📚 詳細文檔

選擇合適的GGUF模型格式

點擊此處獲取選擇合適GGUF模型格式的信息

模型測試相關

測試說明

如果覺得這些模型有用，可以幫助測試 AI驅動的量子網絡監控助手 ，進行量子就緒安全檢查。可以從以下 AI助手類型 中選擇：

• TurboLLM (GPT-4.1-mini)
• HugLLM (Hugginface開源模型)
• TestLLM (僅支持CPU的實驗性模型)

測試內容

正在挑戰 用於AI網絡監控的小型開源模型 的極限，具體包括：

• 針對即時網絡服務進行 函數調用
• 探索模型在處理以下任務時可以達到的最小規模：
  • 自動 Nmap安全掃描
  • 量子就緒檢查
  • 網絡監控任務

不同助手特點

• TestLLM（當前實驗性模型，在Hugging Face Docker空間的2個CPU線程上運行llama.cpp）：
  • ✅ 零配置設置
  • ⏳ 加載時間30秒（推理速度慢，但 無API成本），由於成本低，無令牌限制。
  • 🔧 尋求幫助！ 如果對 邊緣設備AI 感興趣，歡迎合作！
• TurboLLM（使用 gpt-4.1-mini）：
  • 性能非常好，但不幸的是OpenAI按令牌收費，因此令牌使用受限。
  • 可以創建自定義命令處理器，在量子網絡監控代理上運行.NET代碼。
  • 提供即時網絡診斷和監控、安全審計、滲透測試（Nmap/Metasploit）等功能。
• HugLLM（最新的開源模型）：
  • 🌐 在Hugging Face推理API上運行，使用Novita託管的最新模型表現相當不錯。

測試命令示例

1. "提供我的網站SSL證書信息"
2. "檢查我的服務器是否使用量子安全加密進行通信"
3. "對我的服務器進行全面的安全審計"
4. "創建一個命令處理器來...（根據需要填寫）" 注意需要安裝 量子網絡監控代理 才能運行.NET代碼。

代碼倉庫

• 量子網絡監控服務的完整開源代碼可在 GitHub 上找到。
• 如果想自己對模型進行量化，可以參考 GGUFModelBuilder 中的代碼。

📄 許可證

本項目採用MIT許可證。