🚀 CodeGen (CodeGen-Mono 16B)
CodeGen是一个用于程序合成的自回归语言模型家族,能够从给定的自然语言和编程语言文本中提取特征,并计算其可能性。它尤其擅长根据英文提示生成可执行代码。
🚀 快速开始
此模型可以使用AutoModelForCausalLM
轻松加载:
from transformers import AutoTokenizer, AutoModelForCausalLM
tokenizer = AutoTokenizer.from_pretrained("Salesforce/codegen-16B-mono")
model = AutoModelForCausalLM.from_pretrained("Salesforce/codegen-16B-mono")
text = "def hello_world():"
input_ids = tokenizer(text, return_tensors="pt").input_ids
generated_ids = model.generate(input_ids, max_length=128)
print(tokenizer.decode(generated_ids[0], skip_special_tokens=True))
✨ 主要特性
- CodeGen是一个自回归语言模型家族,用于程序合成。
- 该模型家族有3种预训练数据变体(
NL
、Multi
、Mono
)和4种模型大小变体(350M
、2B
、6B
、16B
)。
- 本仓库包含的检查点为CodeGen-Mono 16B,它基于CodeGen-Multi 16B初始化,并在Python编程语言数据集上进一步预训练。
📚 详细文档
模型描述
CodeGen是一个用于程序合成的自回归语言模型家族,出自论文 A Conversational Paradigm for Program Synthesis,作者为Erik Nijkamp、Bo Pang、Hiroaki Hayashi、Lifu Tu、Huan Wang、Yingbo Zhou、Silvio Savarese和Caiming Xiong。这些模型最初发布在 此仓库 中,有3种预训练数据变体(NL
、Multi
、Mono
)和4种模型大小变体(350M
、2B
、6B
、16B
)。
本仓库包含的检查点在论文中表示为CodeGen-Mono 16B,其中“Mono”表示该模型基于CodeGen-Multi 16B初始化,并在Python编程语言数据集上进一步预训练,“16B”指的是可训练参数的数量。
训练数据
此检查点(CodeGen-Mono 16B)首先基于CodeGen-Multi 16B初始化,然后在BigPython数据集上进行预训练。该数据包含717亿个Python编程语言的标记。更多详细信息请参阅 论文 的第2.1节。
训练过程
CodeGen使用交叉熵损失进行训练,以最大化序列输入的可能性。该模型家族由Google使用多个TPU-v4-512进行训练,利用了数据和模型并行性。更多详细信息请参阅 论文 的第2.3节。
评估结果
我们在两个人工智能代码生成基准测试上评估了我们的模型:HumanEval和MTPB。更多详细信息请参阅 论文。
预期用途和局限性
作为一个自回归语言模型,CodeGen能够从给定的自然语言和编程语言文本中提取特征,并计算其可能性。然而,该模型的预期用途和优势在于程序合成,即根据英文提示生成可执行代码,提示应以注释字符串的形式给出。该模型也可以完成部分生成的代码。
伦理考虑
此版本仅用于支持学术论文的研究目的。我们的模型、数据集和代码并非专门为所有下游用途而设计或评估。我们强烈建议用户在部署此模型之前评估并解决与准确性、安全性和公平性相关的潜在问题。我们鼓励用户考虑人工智能的常见局限性,遵守适用法律,并在选择用例时采用最佳实践,特别是在错误或滥用可能对人们的生活、权利或安全产生重大影响的高风险场景中。有关用例的进一步指导,请参阅我们的AUP和AI AUP。
📄 许可证
本项目采用BSD 3条款许可证(BSD-3-Clause License)。
📖 BibTeX引用和引用信息
@article{Nijkamp2022ACP,
title={A Conversational Paradigm for Program Synthesis},
author={Nijkamp, Erik and Pang, Bo and Hayashi, Hiroaki and Tu, Lifu and Wang, Huan and Zhou, Yingbo and Savarese, Silvio and Xiong, Caiming},
journal={arXiv preprint},
year={2022}
}