Natgen

🚀 NatGen預訓練模型

NatGen是一個用於代碼生成、代碼翻譯和漏洞修復的預訓練模型。它通過“自然化”源代碼進行生成式預訓練，為代碼處理任務提供了強大的支持。

🚀 快速開始

若要加載該模型，可使用以下代碼：

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM
tokenizer = AutoTokenizer.from_pretrained("saikatc/NatGen")
model = AutoModelForSeq2SeqLM.from_pretrained("saikatc/NatGen")

📄 許可證

本項目採用MIT許可證。

📚 詳細文檔

數據集

該模型使用了以下數據集進行訓練：

• CodeSearchNet
• CodeXGLUE

評估指標

模型的評估使用了以下指標：

• EM
• CodeBLEU

引用信息

如果您使用了該模型，請引用以下論文：

@inproceedings{chakraborty2022natgen,
    author = {Chakraborty, Saikat and Ahmed, Toufique and Ding, Yangruibo and Devanbu, Premkumar T. and Ray, Baishakhi},
    title = {NatGen: Generative Pre-Training by “Naturalizing” Source Code},
    year = {2022},
    isbn = {9781450394130},
    publisher = {Association for Computing Machinery},
    address = {New York, NY, USA},
    url = {https://doi.org/10.1145/3540250.3549162},
    doi = {10.1145/3540250.3549162},
    booktitle = {Proceedings of the 30th ACM Joint European Software Engineering Conference and Symposium on the Foundations of Software Engineering},
    pages = {18–30},
    numpages = {13},
    keywords = {Neural Network, Semantic Preserving Transformation, Source Code Transformer, Source Code Pre-training},
    location = {Singapore, Singapore},
    series = {ESEC/FSE 2022}
}

相關鏈接

• 論文
• 代碼
• 幻燈片