Codeparrot

🚀 CodeParrot 🦜

CodeParrot 🦜 是一个具有 15 亿参数的 GPT - 2 模型，专为生成 Python 代码而训练。在初始训练并发布 v1.0 版本后，我们对模型进行了进一步训练，随后发布了 v1.1 版本（详情见下文）。

🚀 快速开始

你可以直接在 transformers 中加载 CodeParrot 模型和分词器。

💻 使用示例

基础用法

from transformers import AutoTokenizer, AutoModelWithLMHead
  
tokenizer = AutoTokenizer.from_pretrained("codeparrot/codeparrot")
model = AutoModelWithLMHead.from_pretrained("codeparrot/codeparrot")

inputs = tokenizer("def hello_world():", return_tensors="pt")
outputs = model(**inputs)

高级用法

from transformers import pipeline

pipe = pipeline("text-generation", model="codeparrot/codeparrot")
outputs = pipe("def hello_world():")

📚 详细文档

📦 安装指南

文档未提及安装步骤，可参考 transformers 库的官方安装说明进行安装。

🔧 技术细节

训练

该模型分两个阶段在清理后的 CodeParrot 🦜 数据集 上进行训练。初始训练（v1.0）完成后，模型又进行了 30000 步的训练，得到 v1.1 版本。具体设置如下表所示：

训练在 16 块 A100（40GB）GPU 上进行。此设置大约处理了 260 亿 + 150 亿个标记。

性能

我们在 OpenAI 的 HumanEval 基准测试（包含编程挑战）上对模型进行了评估：

pass@k 指标 表示在 k 次生成中至少有一次通过测试的概率。

📄 资源

• 数据集：完整数据集，训练集，验证集
• 代码：代码仓库
• 应用空间：生成, 高亮显示