SWE Llama 13b

🚀 SWE-Llama

SWE-Llama 是 CodeLlama 模型的變體，它在從真實世界的 GitHub 問題和拉取請求中提取的軟件工程任務上進行了微調。這些模型在 這篇論文 中被引入，並在 SWE-bench 基準測試中進行了評估。

📚 詳細文檔

數據集

• 37 個流行的 Python 代碼倉庫
• 請參考 princeton-nlp/SWE-bench 的訓練分割
• 有關輸入格式的詳細信息，請參閱 SWE-bench GitHub 上的 make_datasets 文檔。

模型詳情

訓練數據

SWE-Llama 在從 GitHub 上 37 個流行的 Python 代碼倉庫中收集的 19000 個問題和拉取請求上進行了微調，這些數據與 SWE-bench 中使用的數據不重疊。

訓練過程

• 使用 LoRA 方法僅對注意力矩陣進行微調
• 以 32 的批次大小訓練 4 個輪次
• 根據驗證困惑度選擇最佳檢查點

評估結果

在 SWE-bench 基準測試中進行評估時：

• SWE-Llama-7b 使用 oracle 上下文檢索實現了 3.0% 的問題解決率
• SWE-Llama-13b 使用 oracle 上下文檢索實現了 4.0% 的問題解決率

BibTeX 引用

@misc{jimenez2023swebench,
      title={SWE-bench: Can Language Models Resolve Real-World GitHub Issues?}, 
      author={Carlos E. Jimenez and John Yang 
        and Alexander Wettig and Shunyu Yao 
        and Kexin Pei and Ofir Press and Karthik Narasimhan},
      year={2023},
      eprint={2310.06770},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}