llama-2-coder-7bオープンソースコード生成モデル - 無料でプログラミング支援タスクをサポート

ホーム

Llama 2 Coder 7b

mrm8488によって開発

Llama-2 7bモデルを微調整したコード生成モデルで、プログラミング支援タスク専用

大規模言語モデル

Transformers

その他オープンソースライセンス:Apache-2.0 #コード生成 #命令微調整 #プログラミングアシスタント

ダウンロード数 191

リリース時間 : 7/26/2023

モデル概要

Llama-2-coder-7bはCodeAlpaca 20k命令データセットで微調整された大規模言語モデルで、QLoRA手法とPEFTライブラリを使用して実装され、コード生成とプログラミング支援タスクに特化しています。

モデル特徴

コード専用微調整

CodeAlpaca 20k命令データセットに基づきプログラミングタスク向けに特別に微調整

効率的なトレーニング方法

QLoRAパラメータ効率的微調整技術とPEFTライブラリを採用

プログラミング支援能力

プログラミング命令を理解し、対応するコードソリューションを生成可能

モデル能力

コード生成

コード補完

コード説明

プログラミング問題解決

使用事例

開発支援

コードスニペット生成

自然言語の記述に基づいてコードスニペットを生成

複数のプログラミング言語のコードを生成可能

コード修正

命令に基づいて既存のコードを修正

例示されているXMLナビゲーションバーの追加など

教育

プログラミング学習

初心者がプログラミング概念を理解するのを支援

🚀 Llama 2 Coder 🦙👩‍💻

Llama-2 7b は、PEFT ライブラリを使用して CodeAlpaca 20k 命令データセット で QLoRA 手法を用いてファインチューニングされたモデルです。このモデルはコーディング支援に特化しており、ユーザーのコーディングタスクを効果的に支援します。

🚀 クイックスタート

このモデルは、コーディング関連のタスクを支援するために設計されています。以下のセクションでは、モデルの詳細、トレーニングデータ、使用例などを説明します。

✨ 主な機能

高度なコーディング支援：CodeAlpaca 20k 命令データセットでファインチューニングされており、様々なコーディングタスクに対応できます。
高速な応答：QLoRA 手法を用いてトレーニングされており、効率的なコーディング支援を提供します。

📦 インストール

このモデルは Hugging Face のモデルハブから直接利用できます。以下のコードを使用してモデルとトークナイザーをインポートできます。

from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "mrm8488/llama-2-coder-7b"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id).to("cuda")

💻 使用例

基本的な使用法

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, GenerationConfig

model_id = "mrm8488/llama-2-coder-7b"

tokenizer = AutoTokenizer.from_pretrained(model_id)

model = AutoModelForCausalLM.from_pretrained(model_id).to("cuda")

def create_prompt(instruction):
  system = "You are a coding assistant that will help the user to resolve the following instruction:"
  instruction = "### Instruction: " + instruction
  return system + "\n" + instruction + "\n\n" + "### Solution:" + "\n"

def generate(
        instruction,
        max_new_tokens=128,
        temperature=0.1,
        top_p=0.75,
        top_k=40,
        num_beams=4,
        **kwargs,
):
    prompt = create_prompt(instruction)
    print(prompt)
    inputs = tokenizer(prompt, return_tensors="pt")
    input_ids = inputs["input_ids"].to("cuda")
    attention_mask = inputs["attention_mask"].to("cuda")
    generation_config = GenerationConfig(
        temperature=temperature,
        top_p=top_p,
        top_k=top_k,
        num_beams=num_beams,
        **kwargs,
    )
    with torch.no_grad():
        generation_output = model.generate(
            input_ids=input_ids,
            attention_mask=attention_mask,
            generation_config=generation_config,
            return_dict_in_generate=True,
            output_scores=True,
            max_new_tokens=max_new_tokens,
            early_stopping=True
        )
    s = generation_output.sequences[0]
    output = tokenizer.decode(s)
    return output.split("### Solution:")[1].lstrip("\n")

instruction = """
Edit the following XML code to add a navigation bar to the top of a web page
<html>
<head>
  <title>CliBrAIn</title>
</head>
"""
print(generate(instruction))

📚 ドキュメント

モデル説明 🧠

Llama-2 は、70億から700億のパラメータ規模の事前学習済みおよびファインチューニング済みの生成型テキストモデルのコレクションです。Meta が開発し公開した Llama 2 シリーズの大規模言語モデル（LLM）は、多くのベンチマークでオープンソースのチャットモデルを上回り、有用性と安全性に関する人間による評価では、ChatGPT や PaLM などの人気のあるクローズドソースモデルと同等の性能を発揮します。

トレーニングと評価データ 📚

CodeAlpaca_20K は、Code Alpaca モデルのファインチューニングに使用される20,000件の命令追従データを含んでいます。

トレーニングハイパーパラメータ ⚙

    optim="paged_adamw_32bit",
    num_train_epochs = 2,
    eval_steps=50,
    save_steps=50,
    evaluation_strategy="steps",
    save_strategy="steps",
    save_total_limit=2,
    seed=66,
    load_best_model_at_end=True,
    logging_steps=1,
    learning_rate=2e-4,
    fp16=True,
    bf16=False,
    max_grad_norm=0.3,
    warmup_ratio=0.03,
    group_by_length=True,
    lr_scheduler_type="constant"

トレーニング結果 🗒️

ステップ	トレーニング損失	検証損失
50	0.624400	0.600070
100	0.634100	0.592757
150	0.545800	0.586652
200	0.572500	0.577525
250	0.528000	0.590118

評価結果 📊

WIP

🔧 技術詳細

このモデルは、Llama-2 7b をベースに、CodeAlpaca 20k 命令データセットを使用して QLoRA 手法でファインチューニングされています。PEFT ライブラリを使用することで、効率的なトレーニングが可能になっています。

📄 ライセンス

このモデルは Apache 2.0 ライセンスの下で提供されています。

引用

@misc {manuel_romero_2023,
	author       = { {Manuel Romero} },
	title        = { llama-2-coder-7b (Revision d30d193) },
	year         = 2023,
	url          = { https://huggingface.co/mrm8488/llama-2-coder-7b },
	doi          = { 10.57967/hf/0931 },
	publisher    = { Hugging Face }
}