Starcoder2 3b Instruct

🚀 starcoder2-instruct

starcoder2-instruct是基於starcoder2-3b微調得到的模型。它使用了額外的7億個與代碼相關的高質量標記進行了3個週期的微調。在訓練過程中，採用了DeepSpeed ZeRO 3和Flash Attention 2技術來加速。該模型在HumanEval - Python上達到了65.9 pass@1的成績。此模型採用Alpaca指令格式（不包含系統提示）運行。

🚀 快速開始

本部分將介紹如何使用starcoder2-instruct模型。

💻 使用示例

基礎用法

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch
PROMPT = """### Instruction
{instruction}
### Response
"""
instruction = <Your code instruction here>
prompt = PROMPT.format(instruction=instruction)
tokenizer = AutoTokenizer.from_pretrained("TechxGenus/starcoder2-3b-instruct")
model = AutoModelForCausalLM.from_pretrained(
    "TechxGenus/starcoder2-3b-instruct",
    torch_dtype=torch.bfloat16,
    device_map="auto",
)
inputs = tokenizer.encode(prompt, return_tensors="pt")
outputs = model.generate(input_ids=inputs.to(model.device), max_new_tokens=2048)
print(tokenizer.decode(outputs[0]))

高級用法

使用文本生成管道的方式：

from transformers import pipeline
import torch
PROMPT = """### Instruction
{instruction}
### Response
"""
instruction = <Your code instruction here>
prompt = PROMPT.format(instruction=instruction)
generator = pipeline(
    model="TechxGenus/starcoder2-3b-instruct",
    task="text-generation",
    torch_dtype=torch.bfloat16,
    device_map="auto",
)
result = generator(prompt, max_length=2048)
print(result[0]["generated_text"])

📄 許可證

本模型使用的許可證為bigcode - openrail - m。

⚠️ 重要提示

模型有時可能會出錯、產生誤導性內容，或者在處理與編碼無關的任務時表現不佳。該模型僅經過了非常有限的測試。在進行任何實際部署之前，應該進行額外的安全測試。