SWE Dev 32B GGUF

🚀 SWE-Dev-32B GGUF模型

SWE-Dev-32B GGUF模型是基于特定基础模型和技术生成的模型，在软件工程任务中有着出色的表现，并且提供了独特的量化方法来提升模型精度。

🚀 快速开始

模型信息

相关链接

• 📝 论文
• 🌐 Github
• 🤗 SWE-Dev-7B (Qwen-2.5-Coder-7B-Instruct)
• 🤗 SWE-Dev-9B (GLM-4-9B-Chat)
• 🤗 SWE-Dev-32B (Qwen-2.5-Coder-32B-Instruct)
• 🤗 SWE-Dev-train (训练数据)

✨ 主要特性

模型生成细节

此模型使用 llama.cpp 在提交版本 0a5a3b5c 时生成。

超越IMatrix的量化方法

尝试了一种新的量化方法，该方法有选择地提高关键层的精度，超越了默认IMatrix配置所提供的精度。在测试中，标准IMatrix量化在低比特深度下表现不佳，特别是对于专家混合（MoE）模型。为了解决这个问题，使用 llama.cpp 中的 --tensor-type 选项手动将重要层的精度提高。具体实现可参考：👉 使用llama.cpp进行层提升。虽然这会增加模型文件的大小，但显著提高了给定量化级别的精度。

模型性能与优势

SWE-Dev-7B和32B基于开源框架（OpenHands）和模型，在SWE-bench-Verified上分别实现了23.4%和36.6%的解决率，甚至接近GPT-4o的性能。研究发现，训练数据扩展和推理扩展都可以有效提高模型在SWE-bench上的性能。此外，结合强化微调（RFT）时，更高的数据质量进一步改善了这一趋势。对于推理扩展，SWE-Dev的解决率从30轮的34.0%提高到75轮的36.6%。

📚 详细文档

选择合适的GGUF模型格式

点击此处获取选择合适GGUF模型格式的信息

模型测试相关

测试说明

如果觉得这些模型有用，可以帮助测试 AI驱动的量子网络监控助手 ，进行量子就绪安全检查。可以从以下 AI助手类型 中选择：

• TurboLLM (GPT-4.1-mini)
• HugLLM (Hugginface开源模型)
• TestLLM (仅支持CPU的实验性模型)

测试内容

正在挑战 用于AI网络监控的小型开源模型 的极限，具体包括：

• 针对实时网络服务进行 函数调用
• 探索模型在处理以下任务时可以达到的最小规模：
  • 自动 Nmap安全扫描
  • 量子就绪检查
  • 网络监控任务

不同助手特点

• TestLLM（当前实验性模型，在Hugging Face Docker空间的2个CPU线程上运行llama.cpp）：
  • ✅ 零配置设置
  • ⏳ 加载时间30秒（推理速度慢，但 无API成本），由于成本低，无令牌限制。
  • 🔧 寻求帮助！ 如果对 边缘设备AI 感兴趣，欢迎合作！
• TurboLLM（使用 gpt-4.1-mini）：
  • 性能非常好，但不幸的是OpenAI按令牌收费，因此令牌使用受限。
  • 可以创建自定义命令处理器，在量子网络监控代理上运行.NET代码。
  • 提供实时网络诊断和监控、安全审计、渗透测试（Nmap/Metasploit）等功能。
• HugLLM（最新的开源模型）：
  • 🌐 在Hugging Face推理API上运行，使用Novita托管的最新模型表现相当不错。

测试命令示例

1. "提供我的网站SSL证书信息"
2. "检查我的服务器是否使用量子安全加密进行通信"
3. "对我的服务器进行全面的安全审计"
4. "创建一个命令处理器来...（根据需要填写）" 注意需要安装 量子网络监控代理 才能运行.NET代码。

代码仓库

• 量子网络监控服务的完整开源代码可在 GitHub 上找到。
• 如果想自己对模型进行量化，可以参考 GGUFModelBuilder 中的代码。

📄 许可证

本项目采用MIT许可证。