Natgen

🚀 NatGen预训练模型

NatGen是一个用于代码生成、代码翻译和漏洞修复的预训练模型。它通过“自然化”源代码进行生成式预训练，为代码处理任务提供了强大的支持。

🚀 快速开始

若要加载该模型，可使用以下代码：

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM
tokenizer = AutoTokenizer.from_pretrained("saikatc/NatGen")
model = AutoModelForSeq2SeqLM.from_pretrained("saikatc/NatGen")

📄 许可证

本项目采用MIT许可证。

📚 详细文档

数据集

该模型使用了以下数据集进行训练：

• CodeSearchNet
• CodeXGLUE

评估指标

模型的评估使用了以下指标：

• EM
• CodeBLEU

引用信息

如果您使用了该模型，请引用以下论文：

@inproceedings{chakraborty2022natgen,
    author = {Chakraborty, Saikat and Ahmed, Toufique and Ding, Yangruibo and Devanbu, Premkumar T. and Ray, Baishakhi},
    title = {NatGen: Generative Pre-Training by “Naturalizing” Source Code},
    year = {2022},
    isbn = {9781450394130},
    publisher = {Association for Computing Machinery},
    address = {New York, NY, USA},
    url = {https://doi.org/10.1145/3540250.3549162},
    doi = {10.1145/3540250.3549162},
    booktitle = {Proceedings of the 30th ACM Joint European Software Engineering Conference and Symposium on the Foundations of Software Engineering},
    pages = {18–30},
    numpages = {13},
    keywords = {Neural Network, Semantic Preserving Transformation, Source Code Transformer, Source Code Pre-training},
    location = {Singapore, Singapore},
    series = {ESEC/FSE 2022}
}

相关链接

• 论文
• 代码
• 幻灯片