Gpt Neo 125M Code Search Py

🚀 GPT-Code-Clippy-125M-Code-Search-Py

GPT-Code-Clippy-125M-Code-Search-Py 是一个专门用于 Python 代码自动补全的模型，基于 GPT-Neo-125M 模型微调而来，能有效提升 Python 代码编写的效率。

⚠️ 重要提示

请参考我们新的 GitHub Wiki，其中详细记录了我们创建 GitHub Copilot 开源版本的工作。

📚 详细文档

模型描述

GPT-CC-125M-Code-Search 是一个 GPT-Neo-125M 模型，它在 CodeSearchNet Challenge 数据集 上仅针对 Python 语言使用因果语言建模进行了微调。该模型专门用于自动补全 Python 语言中的方法。

训练数据

CodeSearchNet Challenge 数据集。

训练过程

用于训练此模型的训练脚本可以在 这里 找到。

./run_clm_flax.py \
    --output_dir $HOME/gpt-neo-125M-code-search-py \
    --model_name_or_path="EleutherAI/gpt-neo-125M" \
    --dataset_name code_search_net \
    --dataset_config_name="python" \
    --do_train --do_eval \
    --block_size="512" \
    --per_device_train_batch_size="32" \
    --per_device_eval_batch_size="64" \
    --preprocessing_num_workers="8" \
    --learning_rate="1.2e-4" \
    --num_train_epochs 20 \
    --warmup_steps 3000 \
    --adam_beta1="0.9" \
    --adam_beta2="0.95" \
    --weight_decay="0.1" \
    --overwrite_output_dir \
    --logging_steps="25" \
    --eval_steps="500" \
    --push_to_hub="False" \
    --report_to="all" \
    --dtype="bfloat16" \
    --skip_memory_metrics="True" \
    --save_steps="500" \
    --save_total_limit 10 \
    --report_to="wandb" \
    --run_name="gpt-neo-125M-code-search-py"

预期用途和限制

使用方法

你可以直接使用文本生成管道来使用此模型。此示例每次运行时都会生成不同的序列：

from transformers import AutoModelForCausalLM, AutoTokenizer, FlaxAutoModelForCausalLM

model = AutoModelForCausalLM.from_pretrained("flax-community/gpt-neo-125M-code-clippy-code-search-py")

tokenizer = AutoTokenizer.from_pretrained("flax-community/gpt-neo-125M-code-clippy-code-search-py")

prompt = """def greet(name):
  '''A function to greet user. Given a user name it should say hello'''
""" 

input_ids = tokenizer(prompt, return_tensors='pt').input_ids.to(device)

start = input_ids.size(1)

out = model.generate(input_ids, do_sample=True, max_length=50, num_beams=2, 

                     early_stopping=True, eos_token_id=tokenizer.eos_token_id, )

print(tokenizer.decode(out[0][start:]))

限制和偏差

该模型旨在用于研究目的，不保证生成代码的质量。

GPT-CC 是从 GPT-Neo 微调而来，可能继承了它的偏差和限制。详情请参阅 GPT-Neo 模型卡片。

评估结果

即将推出...