SWE Llama 13b

🚀 SWE-Llama

SWE-Llama 是 CodeLlama 模型的变体，它在从真实世界的 GitHub 问题和拉取请求中提取的软件工程任务上进行了微调。这些模型在 这篇论文 中被引入，并在 SWE-bench 基准测试中进行了评估。

📚 详细文档

数据集

• 37 个流行的 Python 代码仓库
• 请参考 princeton-nlp/SWE-bench 的训练分割
• 有关输入格式的详细信息，请参阅 SWE-bench GitHub 上的 make_datasets 文档。

模型详情

训练数据

SWE-Llama 在从 GitHub 上 37 个流行的 Python 代码仓库中收集的 19000 个问题和拉取请求上进行了微调，这些数据与 SWE-bench 中使用的数据不重叠。

训练过程

• 使用 LoRA 方法仅对注意力矩阵进行微调
• 以 32 的批次大小训练 4 个轮次
• 根据验证困惑度选择最佳检查点

评估结果

在 SWE-bench 基准测试中进行评估时：

• SWE-Llama-7b 使用 oracle 上下文检索实现了 3.0% 的问题解决率
• SWE-Llama-13b 使用 oracle 上下文检索实现了 4.0% 的问题解决率

BibTeX 引用

@misc{jimenez2023swebench,
      title={SWE-bench: Can Language Models Resolve Real-World GitHub Issues?}, 
      author={Carlos E. Jimenez and John Yang 
        and Alexander Wettig and Shunyu Yao 
        and Kexin Pei and Ofir Press and Karthik Narasimhan},
      year={2023},
      eprint={2310.06770},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}