Starcoder2 3b Instruct

🚀 starcoder2-instruct

このモデルは、starcoder2-3bを追加の07億個の高品質なコード関連トークンで3エポック微調整したものです。DeepSpeed ZeRO 3とFlash Attention 2を使用してトレーニングプロセスを高速化しました。HumanEval-Pythonで65.9 pass@1を達成しています。このモデルはAlpaca命令形式（システムプロンプトを除く）で動作します。

🚀 クイックスタート

このモデルは、追加の0.7億個の高品質なコード関連トークンで微調整されたstarcoder2-3bベースのテキスト生成モデルです。DeepSpeed ZeRO 3とFlash Attention 2を用いてトレーニングが高速化されています。

✨ 主な機能

• starcoder2-3bを追加の0.7億個の高品質なコード関連トークンで3エポック微調整。
• DeepSpeed ZeRO 3とFlash Attention 2を使用した高速トレーニング。
• HumanEval-Pythonで65.9 pass@1を達成。
• Alpaca命令形式（システムプロンプトを除く）で動作。

💻 使用例

基本的な使用法

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch
PROMPT = """### Instruction
{instruction}
### Response
"""
instruction = <Your code instruction here>
prompt = PROMPT.format(instruction=instruction)
tokenizer = AutoTokenizer.from_pretrained("TechxGenus/starcoder2-3b-instruct")
model = AutoModelForCausalLM.from_pretrained(
    "TechxGenus/starcoder2-3b-instruct",
    torch_dtype=torch.bfloat16,
    device_map="auto",
)
inputs = tokenizer.encode(prompt, return_tensors="pt")
outputs = model.generate(input_ids=inputs.to(model.device), max_new_tokens=2048)
print(tokenizer.decode(outputs[0]))

高度な使用法

from transformers import pipeline
import torch
PROMPT = """### Instruction
{instruction}
### Response
"""
instruction = <Your code instruction here>
prompt = PROMPT.format(instruction=instruction)
generator = pipeline(
    model="TechxGenus/starcoder2-3b-instruct",
    task="text-generation",
    torch_dtype=torch.bfloat16,
    device_map="auto",
)
result = generator(prompt, max_length=2048)
print(result[0]["generated_text"])

📄 ライセンス

このモデルは、bigcode-openrail-mライセンスの下で提供されています。

⚠️ 重要提示

このモデルは時々エラーを起こしたり、誤解を招く内容を生成したり、コーディングに関係のないタスクを処理できないことがあります。非常に限られたテストしか行われていないため、実際のデプロイ前に追加の安全テストを行う必要があります。