llama-2-coder-7b開源代碼生成模型 - 免費助力編程輔助任務

首頁

Llama 2 Coder 7b

由mrm8488開發

基於Llama-2 7b模型微調的代碼生成模型，專門用於編程輔助任務

大型語言模型

Transformers

其他開源協議:Apache-2.0 #代碼生成 #指令微調 #編程助手

下載量 191

發布時間 : 7/26/2023

模型概述

Llama-2-coder-7b是基於CodeAlpaca 20k指令數據集微調的大語言模型，採用QLoRA方法和PEFT庫實現，專注於代碼生成和編程輔助任務。

模型特點

代碼專用微調

基於CodeAlpaca 20k指令數據集專門針對編程任務進行微調

高效訓練方法

採用QLoRA參數高效微調技術和PEFT庫實現

編程輔助能力

能夠理解編程指令並生成相應的代碼解決方案

模型能力

代碼生成

代碼補全

代碼解釋

編程問題解答

使用案例

開發輔助

代碼片段生成

根據自然語言描述生成代碼片段

可生成多種編程語言的代碼

代碼修改

根據指令修改現有代碼

如示例中的XML導航欄添加

教育

編程學習

幫助初學者理解編程概念

🚀 Llama 2 Coder 🦙👩‍💻

Llama 2 Coder是基於Llama-2 7b模型，使用QLoRA方法和PEFT庫，在CodeAlpaca 20k指令數據集上進行微調得到的模型，可有效輔助編碼工作。

🚀 快速開始

示例代碼

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, GenerationConfig

model_id = "mrm8488/llama-2-coder-7b"

tokenizer = AutoTokenizer.from_pretrained(model_id)

model = AutoModelForCausalLM.from_pretrained(model_id).to("cuda")

def create_prompt(instruction):
  system = "You are a coding assistant that will help the user to resolve the following instruction:"
  instruction = "### Instruction: " + instruction
  return system + "\n" + instruction + "\n\n" + "### Solution:" + "\n"

def generate(
        instruction,
        max_new_tokens=128,
        temperature=0.1,
        top_p=0.75,
        top_k=40,
        num_beams=4,
        **kwargs,
):
    prompt = create_prompt(instruction)
    print(prompt)
    inputs = tokenizer(prompt, return_tensors="pt")
    input_ids = inputs["input_ids"].to("cuda")
    attention_mask = inputs["attention_mask"].to("cuda")
    generation_config = GenerationConfig(
        temperature=temperature,
        top_p=top_p,
        top_k=top_k,
        num_beams=num_beams,
        **kwargs,
    )
    with torch.no_grad():
        generation_output = model.generate(
            input_ids=input_ids,
            attention_mask=attention_mask,
            generation_config=generation_config,
            return_dict_in_generate=True,
            output_scores=True,
            max_new_tokens=max_new_tokens,
            early_stopping=True
        )
    s = generation_output.sequences[0]
    output = tokenizer.decode(s)
    return output.split("### Solution:")[1].lstrip("\n")

instruction = """
Edit the following XML code to add a navigation bar to the top of a web page
<html>
<head>
  <title>CliBrAIn</title>
</head>
"""
print(generate(instruction))

✨ 主要特性

基於強大的Llama-2 7b模型，具備優秀的語言理解和生成能力。
使用QLoRA方法和PEFT庫在CodeAlpaca 20k指令數據集上進行微調，專注於編碼輔助場景。

📚 詳細文檔

模型描述 🧠

Llama-2是Meta開發並公開發布的一系列預訓練和微調的生成式文本模型，參數規模從70億到700億不等。其中，經過微調的Llama-2-Chat模型針對對話場景進行了優化，在大多數測試基準上優於開源聊天模型，在人工評估的有用性和安全性方面，與ChatGPT和PaLM等一些流行的閉源模型相當。

訓練和評估數據 📚

CodeAlpaca_20K數據集包含20K條指令跟隨數據，用於微調Code Alpaca模型。

訓練超參數 ⚙

    optim="paged_adamw_32bit",
    num_train_epochs = 2,
    eval_steps=50,
    save_steps=50,
    evaluation_strategy="steps",
    save_strategy="steps",
    save_total_limit=2,
    seed=66,
    load_best_model_at_end=True,
    logging_steps=1,
    learning_rate=2e-4,
    fp16=True,
    bf16=False,
    max_grad_norm=0.3,
    warmup_ratio=0.03,
    group_by_length=True,
    lr_scheduler_type="constant"

訓練結果 🗒️

步驟	訓練損失	驗證損失
50	0.624400	0.600070
100	0.634100	0.592757
150	0.545800	0.586652
200	0.572500	0.577525
250	0.528000	0.590118

評估結果 📊

待完成

引用

@misc {manuel_romero_2023,
	author       = { {Manuel Romero} },
	title        = { llama-2-coder-7b (Revision d30d193) },
	year         = 2023,
	url          = { https://huggingface.co/mrm8488/llama-2-coder-7b },
	doi          = { 10.57967/hf/0931 },
	publisher    = { Hugging Face }
}