Skywork SWE 32B GGUF

🚀 Skywork-SWE

Skywork-SWE-32B 是由 Skywork AI 开发的代码智能体模型，专为软件工程（SWE）任务设计。它在多个关键指标上表现出色，能有效解决软件工程中的代码生成、问题修复等任务，为软件开发提供高效的支持。

📖 技术报告 | 📝 博客

✨ 主要特性

• 高性能表现：Skywork-SWE-32B 在 SWE-bench Verified 基准测试中达到了 38.0% 的 pass@1 准确率，超越了之前基于 OpenHands 智能体框架构建的开源最优模型 Qwen2.5-Coder-32B。
• 性能进一步提升：结合测试时缩放技术，其准确率进一步提高到 47.0%，超过了之前参数少于 320 亿模型的最优结果。
• 数据缩放定律验证：清晰展示了大语言模型中软件工程能力的数据缩放定律现象，在收集的 8209 条训练轨迹中没有出现饱和迹象。
• 高效数据收集管道：引入了高效且自动化的软件工程数据收集管道，创建了 Skywork-SWE 数据集，这是一个大规模、高质量且具有完整可执行运行时环境的数据集。

📋 模型详情

📊 评估

基于 OpenHands v0.32.0 代码智能体框架，在基于 Qwen2.5-Coder-32B 的大语言模型上进行 Pass@1 准确率的数据缩放定律评估。Skywork-SWE-32B 显著优于之前基于 Qwen2.5-Coder-32B 的大语言模型，在不使用验证器或多次滚动的情况下实现了最高的 pass@1 准确率。

结合测试时缩放技术后，Skywork-SWE-32B 的准确率进一步提高到 47.0%，超过了之前参数少于 320 亿模型的最优结果。

📈 性能总结

• Skywork-SWE-32B：

SWE-bench 验证集提交总结
==================================================
解决实例数：190 (38.0%)
==================================================
按仓库解决情况：
- astropy/astropy: 4/22 (18.18%)
- django/django: 99/231 (42.86%)
- matplotlib/matplotlib: 9/34 (26.47%)
- mwaskom/seaborn: 0/2 (0.0%)
- pallets/flask: 1/1 (100.0%)
- psf/requests: 4/8 (50.0%)
- pydata/xarray: 7/22 (31.82%)
- pylint-dev/pylint: 2/10 (20.0%)
- pytest-dev/pytest: 9/19 (47.37%)
- scikit-learn/scikit-learn: 17/32 (53.12%)
- sphinx-doc/sphinx: 13/44 (29.55%)
- sympy/sympy: 25/75 (33.33%)
==================================================
按时间解决情况：
- 2013: 2/3 (66.67%)
- 2014: 2/2 (100.0%)
- 2015: 0/1 (0.0%)
- 2016: 2/2 (100.0%)
- 2017: 5/16 (31.25%)
- 2018: 7/24 (29.17%)
- 2019: 46/98 (46.94%)
- 2020: 43/108 (39.81%)
- 2021: 27/86 (31.4%)
- 2022: 35/102 (34.31%)
- 2023: 21/58 (36.21%)

• Skywork-SWE-32B + TTS (Bo8)：

SWE-bench 验证集提交总结
==================================================
解决实例数：235 (47.0%)
==================================================
按仓库解决情况：
- astropy/astropy: 8/22 (36.36%)
- django/django: 115/231 (49.78%)
- matplotlib/matplotlib: 15/34 (44.12%)
- mwaskom/seaborn: 0/2 (0.0%)
- pallets/flask: 1/1 (100.0%)
- psf/requests: 3/8 (37.5%)
- pydata/xarray: 14/22 (63.64%)
- pylint-dev/pylint: 4/10 (40.0%)
- pytest-dev/pytest: 10/19 (52.63%)
- scikit-learn/scikit-learn: 22/32 (68.75%)
- sphinx-doc/sphinx: 12/44 (27.27%)
- sympy/sympy: 31/75 (41.33%)
==================================================
按时间解决情况：
- 2013: 1/3 (33.33%)
- 2014: 1/2 (50.0%)
- 2015: 0/1 (0.0%)
- 2016: 2/2 (100.0%)
- 2017: 6/16 (37.5%)
- 2018: 9/24 (37.5%)
- 2019: 52/98 (53.06%)
- 2020: 48/108 (44.44%)
- 2021: 40/86 (46.51%)
- 2022: 46/102 (45.1%)
- 2023: 30/58 (51.72%)

💻 使用示例

基础用法

安装 vLLM 包

# 安装 vLLM 版本 0.9.0.1。
# 例如，如果你的 CUDA 版本是 12.8，使用以下命令：
pip install vllm==0.9.0.1 --extra-index-url https://download.pytorch.org/whl/cu128

启动服务器部署 Skywork-SWE-32B

vllm serve ${MODEL_PATH} —served-model-name ${SERVED_MODEL_NAME} --host 0.0.0.0 --port 8000 --gpu-memory-utilization 0.95 --tensor-parallel-size 8

由于该模型有 320 亿参数且支持 32K 上下文长度，建议使用至少 2 块配备足够显存的 GPU 启动模型服务器，以确保高效推理。

设置 OpenHands 框架

git clone https://github.com/All-Hands-AI/OpenHands.git
cd OpenHands
git checkout tags/0.32.0
make build

OpenHands 的官方文档：使用 OpenHands SWE-Bench Docker 镜像进行 SWE-Bench 评估

创建相应的配置文件：

[core]
workspace_base="./workspace"
[llm.my-oss-model]
model = "openai/${SERVED_MODEL_NAME}"
base_url = "http://0.0.0.0:8000/v1"
api_key="vllm"
max_message_chars=32768
max_input_tokens=32768
max_output_tokens=8192
log_completions=true
temperature=0.0

在 SWE-Bench 实例上进行推理

./evaluation/benchmarks/swe_bench/scripts/run_infer.sh [model_config] [git-version] [agent] [eval_limit] [max_iter] [num_workers] [dataset] [dataset_split]
# 示例
./evaluation/benchmarks/swe_bench/scripts/run_infer.sh llm.my-oss-model HEAD CodeActAgent 500 100 1 princeton-nlp/SWE-bench_Verified test

评估生成的补丁

./evaluation/benchmarks/swe_bench/scripts/eval_infer.sh \
./evaluation_outputs/outputs/princeton-nlp__SWE-bench_Lite-test/CodeActAgent/my-oss-model_maxiter_100_N_v0.32.0-no-hint-run_1/output.jsonl

高级用法

如果你想使用测试时缩放技术（基于批评模型的 N 选优方法）运行 OpenHands 智能体，请参考 博客 获取详细说明。你需要切换到 feature/llm-critic 分支并相应地部署 批评模型。此外，需要在配置文件中添加以下参数：

use_critic=true
critic_model="critic_model"
critic_base_url="**********"
critic_api_key="************"
critic_num_candidates=2

🙏 致谢

感谢 OpenHands 和 AllHands Critic 仓库的贡献者们，感谢他们的开放研究和宝贵贡献。

📚 引用

如果你在研究中使用了 Skywork-SWE，请考虑使用以下 BibTeX 条目引用我们的工作：

@misc{skywork-swe,
  title={Skywork-SWE: Unveiling Data Scaling Laws for Software Engineering in LLMs},
  author={Liang Zeng, Yongcong Li, Yuzhen Xiao, Changshi Li, Chris Yuhao Liu, Rui Yan, Tianwen Wei, Jujie He, Xuchen Song, Yang Liu, and Yahui Zhou},
  howpublished={\url{https://quixotic-sting-239.notion.site/eb17f379610040ceb54da5d5d24065bd}},
  note={Notion Blog},
  year={2025},
}

📄 许可证

本项目采用 Apache-2.0 许可证。