Skywork SWE 32B GGUF

🚀 Skywork-SWE

Skywork-SWE-32B 是由 Skywork AI 開發的代碼智能體模型，專為軟件工程（SWE）任務設計。它在多個關鍵指標上表現出色，能有效解決軟件工程中的代碼生成、問題修復等任務，為軟件開發提供高效的支持。

📖 技術報告 | 📝 博客

✨ 主要特性

• 高性能表現：Skywork-SWE-32B 在 SWE-bench Verified 基準測試中達到了 38.0% 的 pass@1 準確率，超越了之前基於 OpenHands 智能體框架構建的開源最優模型 Qwen2.5-Coder-32B。
• 性能進一步提升：結合測試時縮放技術，其準確率進一步提高到 47.0%，超過了之前參數少於 320 億模型的最優結果。
• 數據縮放定律驗證：清晰展示了大語言模型中軟件工程能力的數據縮放定律現象，在收集的 8209 條訓練軌跡中沒有出現飽和跡象。
• 高效數據收集管道：引入了高效且自動化的軟件工程數據收集管道，創建了 Skywork-SWE 數據集，這是一個大規模、高質量且具有完整可執行運行時環境的數據集。

📋 模型詳情

📊 評估

基於 OpenHands v0.32.0 代碼智能體框架，在基於 Qwen2.5-Coder-32B 的大語言模型上進行 Pass@1 準確率的數據縮放定律評估。Skywork-SWE-32B 顯著優於之前基於 Qwen2.5-Coder-32B 的大語言模型，在不使用驗證器或多次滾動的情況下實現了最高的 pass@1 準確率。

結合測試時縮放技術後，Skywork-SWE-32B 的準確率進一步提高到 47.0%，超過了之前參數少於 320 億模型的最優結果。

📈 性能總結

• Skywork-SWE-32B：

SWE-bench 驗證集提交總結
==================================================
解決實例數：190 (38.0%)
==================================================
按倉庫解決情況：
- astropy/astropy: 4/22 (18.18%)
- django/django: 99/231 (42.86%)
- matplotlib/matplotlib: 9/34 (26.47%)
- mwaskom/seaborn: 0/2 (0.0%)
- pallets/flask: 1/1 (100.0%)
- psf/requests: 4/8 (50.0%)
- pydata/xarray: 7/22 (31.82%)
- pylint-dev/pylint: 2/10 (20.0%)
- pytest-dev/pytest: 9/19 (47.37%)
- scikit-learn/scikit-learn: 17/32 (53.12%)
- sphinx-doc/sphinx: 13/44 (29.55%)
- sympy/sympy: 25/75 (33.33%)
==================================================
按時間解決情況：
- 2013: 2/3 (66.67%)
- 2014: 2/2 (100.0%)
- 2015: 0/1 (0.0%)
- 2016: 2/2 (100.0%)
- 2017: 5/16 (31.25%)
- 2018: 7/24 (29.17%)
- 2019: 46/98 (46.94%)
- 2020: 43/108 (39.81%)
- 2021: 27/86 (31.4%)
- 2022: 35/102 (34.31%)
- 2023: 21/58 (36.21%)

• Skywork-SWE-32B + TTS (Bo8)：

SWE-bench 驗證集提交總結
==================================================
解決實例數：235 (47.0%)
==================================================
按倉庫解決情況：
- astropy/astropy: 8/22 (36.36%)
- django/django: 115/231 (49.78%)
- matplotlib/matplotlib: 15/34 (44.12%)
- mwaskom/seaborn: 0/2 (0.0%)
- pallets/flask: 1/1 (100.0%)
- psf/requests: 3/8 (37.5%)
- pydata/xarray: 14/22 (63.64%)
- pylint-dev/pylint: 4/10 (40.0%)
- pytest-dev/pytest: 10/19 (52.63%)
- scikit-learn/scikit-learn: 22/32 (68.75%)
- sphinx-doc/sphinx: 12/44 (27.27%)
- sympy/sympy: 31/75 (41.33%)
==================================================
按時間解決情況：
- 2013: 1/3 (33.33%)
- 2014: 1/2 (50.0%)
- 2015: 0/1 (0.0%)
- 2016: 2/2 (100.0%)
- 2017: 6/16 (37.5%)
- 2018: 9/24 (37.5%)
- 2019: 52/98 (53.06%)
- 2020: 48/108 (44.44%)
- 2021: 40/86 (46.51%)
- 2022: 46/102 (45.1%)
- 2023: 30/58 (51.72%)

💻 使用示例

基礎用法

安裝 vLLM 包

# 安裝 vLLM 版本 0.9.0.1。
# 例如，如果你的 CUDA 版本是 12.8，使用以下命令：
pip install vllm==0.9.0.1 --extra-index-url https://download.pytorch.org/whl/cu128

啟動服務器部署 Skywork-SWE-32B

vllm serve ${MODEL_PATH} —served-model-name ${SERVED_MODEL_NAME} --host 0.0.0.0 --port 8000 --gpu-memory-utilization 0.95 --tensor-parallel-size 8

由於該模型有 320 億參數且支持 32K 上下文長度，建議使用至少 2 塊配備足夠顯存的 GPU 啟動模型服務器，以確保高效推理。

設置 OpenHands 框架

git clone https://github.com/All-Hands-AI/OpenHands.git
cd OpenHands
git checkout tags/0.32.0
make build

OpenHands 的官方文檔：使用 OpenHands SWE-Bench Docker 鏡像進行 SWE-Bench 評估

創建相應的配置文件：

[core]
workspace_base="./workspace"
[llm.my-oss-model]
model = "openai/${SERVED_MODEL_NAME}"
base_url = "http://0.0.0.0:8000/v1"
api_key="vllm"
max_message_chars=32768
max_input_tokens=32768
max_output_tokens=8192
log_completions=true
temperature=0.0

在 SWE-Bench 實例上進行推理

./evaluation/benchmarks/swe_bench/scripts/run_infer.sh [model_config] [git-version] [agent] [eval_limit] [max_iter] [num_workers] [dataset] [dataset_split]
# 示例
./evaluation/benchmarks/swe_bench/scripts/run_infer.sh llm.my-oss-model HEAD CodeActAgent 500 100 1 princeton-nlp/SWE-bench_Verified test

評估生成的補丁

./evaluation/benchmarks/swe_bench/scripts/eval_infer.sh \
./evaluation_outputs/outputs/princeton-nlp__SWE-bench_Lite-test/CodeActAgent/my-oss-model_maxiter_100_N_v0.32.0-no-hint-run_1/output.jsonl

高級用法

如果你想使用測試時縮放技術（基於批評模型的 N 選優方法）運行 OpenHands 智能體，請參考 博客 獲取詳細說明。你需要切換到 feature/llm-critic 分支並相應地部署 批評模型。此外，需要在配置文件中添加以下參數：

use_critic=true
critic_model="critic_model"
critic_base_url="**********"
critic_api_key="************"
critic_num_candidates=2

🙏 致謝

感謝 OpenHands 和 AllHands Critic 倉庫的貢獻者們，感謝他們的開放研究和寶貴貢獻。

📚 引用

如果你在研究中使用了 Skywork-SWE，請考慮使用以下 BibTeX 條目引用我們的工作：

@misc{skywork-swe,
  title={Skywork-SWE: Unveiling Data Scaling Laws for Software Engineering in LLMs},
  author={Liang Zeng, Yongcong Li, Yuzhen Xiao, Changshi Li, Chris Yuhao Liu, Rui Yan, Tianwen Wei, Jujie He, Xuchen Song, Yang Liu, and Yahui Zhou},
  howpublished={\url{https://quixotic-sting-239.notion.site/eb17f379610040ceb54da5d5d24065bd}},
  note={Notion Blog},
  year={2025},
}

📄 許可證

本項目採用 Apache-2.0 許可證。