llama-2-coder-7b开源代码生成模型 - 免费助力编程辅助任务

Home

Llama 2 Coder 7b

Developed by mrm8488

基于Llama-2 7b模型微调的代码生成模型，专门用于编程辅助任务

大型语言模型

Transformers

OtherOpen Source License:Apache-2.0 #代码生成 #指令微调 #编程助手

Downloads 191

Release Time : 7/26/2023

Model Overview

Llama-2-coder-7b是基于CodeAlpaca 20k指令数据集微调的大语言模型，采用QLoRA方法和PEFT库实现，专注于代码生成和编程辅助任务。

Model Features

代码专用微调

基于CodeAlpaca 20k指令数据集专门针对编程任务进行微调

高效训练方法

采用QLoRA参数高效微调技术和PEFT库实现

编程辅助能力

能够理解编程指令并生成相应的代码解决方案

Model Capabilities

代码生成

代码补全

代码解释

编程问题解答

Use Cases

开发辅助

代码片段生成

根据自然语言描述生成代码片段

可生成多种编程语言的代码

代码修改

根据指令修改现有代码

如示例中的XML导航栏添加

教育

编程学习

帮助初学者理解编程概念

🚀 Llama 2 Coder 🦙👩‍💻

Llama 2 Coder是基于Llama-2 7b模型，使用QLoRA方法和PEFT库，在CodeAlpaca 20k指令数据集上进行微调得到的模型，可有效辅助编码工作。

🚀 快速开始

示例代码

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, GenerationConfig

model_id = "mrm8488/llama-2-coder-7b"

tokenizer = AutoTokenizer.from_pretrained(model_id)

model = AutoModelForCausalLM.from_pretrained(model_id).to("cuda")

def create_prompt(instruction):
  system = "You are a coding assistant that will help the user to resolve the following instruction:"
  instruction = "### Instruction: " + instruction
  return system + "\n" + instruction + "\n\n" + "### Solution:" + "\n"

def generate(
        instruction,
        max_new_tokens=128,
        temperature=0.1,
        top_p=0.75,
        top_k=40,
        num_beams=4,
        **kwargs,
):
    prompt = create_prompt(instruction)
    print(prompt)
    inputs = tokenizer(prompt, return_tensors="pt")
    input_ids = inputs["input_ids"].to("cuda")
    attention_mask = inputs["attention_mask"].to("cuda")
    generation_config = GenerationConfig(
        temperature=temperature,
        top_p=top_p,
        top_k=top_k,
        num_beams=num_beams,
        **kwargs,
    )
    with torch.no_grad():
        generation_output = model.generate(
            input_ids=input_ids,
            attention_mask=attention_mask,
            generation_config=generation_config,
            return_dict_in_generate=True,
            output_scores=True,
            max_new_tokens=max_new_tokens,
            early_stopping=True
        )
    s = generation_output.sequences[0]
    output = tokenizer.decode(s)
    return output.split("### Solution:")[1].lstrip("\n")

instruction = """
Edit the following XML code to add a navigation bar to the top of a web page
<html>
<head>
  <title>CliBrAIn</title>
</head>
"""
print(generate(instruction))

✨ 主要特性

基于强大的Llama-2 7b模型，具备优秀的语言理解和生成能力。
使用QLoRA方法和PEFT库在CodeAlpaca 20k指令数据集上进行微调，专注于编码辅助场景。

📚 详细文档

模型描述 🧠

Llama-2是Meta开发并公开发布的一系列预训练和微调的生成式文本模型，参数规模从70亿到700亿不等。其中，经过微调的Llama-2-Chat模型针对对话场景进行了优化，在大多数测试基准上优于开源聊天模型，在人工评估的有用性和安全性方面，与ChatGPT和PaLM等一些流行的闭源模型相当。

训练和评估数据 📚

CodeAlpaca_20K数据集包含20K条指令跟随数据，用于微调Code Alpaca模型。

训练超参数 ⚙

    optim="paged_adamw_32bit",
    num_train_epochs = 2,
    eval_steps=50,
    save_steps=50,
    evaluation_strategy="steps",
    save_strategy="steps",
    save_total_limit=2,
    seed=66,
    load_best_model_at_end=True,
    logging_steps=1,
    learning_rate=2e-4,
    fp16=True,
    bf16=False,
    max_grad_norm=0.3,
    warmup_ratio=0.03,
    group_by_length=True,
    lr_scheduler_type="constant"

训练结果 🗒️

步骤	训练损失	验证损失
50	0.624400	0.600070
100	0.634100	0.592757
150	0.545800	0.586652
200	0.572500	0.577525
250	0.528000	0.590118

评估结果 📊

待完成

引用

@misc {manuel_romero_2023,
	author       = { {Manuel Romero} },
	title        = { llama-2-coder-7b (Revision d30d193) },
	year         = 2023,
	url          = { https://huggingface.co/mrm8488/llama-2-coder-7b },
	doi          = { 10.57967/hf/0931 },
	publisher    = { Hugging Face }
}