SWE Llama 13b

🚀 SWE-Llama

SWE-Llamaは、実世界のGitHubのissueとプルリクエストから抽出されたソフトウェアエンジニアリングタスクでファインチューニングされたCodeLlamaモデルのバリアントです。これらは、この論文のSWE-benchベンチマークで導入され、評価されました。

🚀 クイックスタート

データセット

• 37の人気のあるPythonコードリポジトリ
• princeton-nlp/SWE-benchのトレーニング分割を参照
• 入力のフォーマットの詳細については、SWE-benchのGitHubのmake_datasetsドキュメントを参照してください。

✨ 主な機能

SWE-Llamaは、GitHubのissueを解決するためのパッチを生成することができます。これは、issueの説明とコードコンテキストを条件として行われます。

📚 ドキュメント

モデルの詳細

学習データ

SWE-Llamaは、GitHub上の37の人気のあるPythonコードリポジトリから収集された19,000のissueとプルリクエストでファインチューニングされました。これらは、SWE-benchで使用されるものとは異なります。

学習手順

• LoRA法を使用して注意行列のみをファインチューニング
• バッチサイズ32で4エポック学習
• 検証パープレキシティに基づいて最良のチェックポイントを選択

評価結果

SWE-benchベンチマークで評価した場合：

• SWE-Llama-7bは、オラクルコンテキスト検索を使用して3.0%のissue解決率を達成
• SWE-Llama-13bは、オラクルコンテキスト検索を使用して4.0%のissue解決率を達成

BibTeXエントリ

@misc{jimenez2023swebench,
      title={SWE-bench: Can Language Models Resolve Real-World GitHub Issues?}, 
      author={Carlos E. Jimenez and John Yang 
        and Alexander Wettig and Shunyu Yao 
        and Kexin Pei and Ofir Press and Karthik Narasimhan},
      year={2023},
      eprint={2310.06770},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}