Tiny Starcoder Py

🚀 TinyStarCoderPy

このモデルは、StarCoder と同じアーキテクチャ（8kコンテキスト長、MQA および FIM）を持つ164Mパラメータのモデルです。StarCoderData のPythonデータを約6エポック、つまり1000億トークンで学習させています。

🚀 クイックスタート

このセクションでは、TinyStarCoderPyモデルの基本的な使い方を説明します。

✨ 主な機能

• このモデルはGitHubのコードを学習しており、Assisted Generation のようなタスクを支援します。
• 純粋なコード補完には、15Bモデルの StarCoder または StarCoderBase の使用をおすすめします。

📦 インストール

# pip install -q transformers
from transformers import AutoModelForCausalLM, AutoTokenizer

checkpoint = "bigcode/tiny_starcoder_py"
device = "cuda" # for GPU usage or "cpu" for CPU usage

tokenizer = AutoTokenizer.from_pretrained(checkpoint)
model = AutoModelForCausalLM.from_pretrained(checkpoint).to(device)

💻 使用例

基本的な使用法

# コード生成の基本的な使用例
inputs = tokenizer.encode("def print_hello_world():", return_tensors="pt").to(device)
outputs = model.generate(inputs)
print(tokenizer.decode(outputs[0]))

高度な使用法

中間埋め込み（Fill-in-the-middle）

中間埋め込みでは、入力と出力のプレフィックス/ミドル/サフィックス部分を識別するために特殊トークンを使用します。

input_text = "<fim_prefix>def print_one_two_three():\n    print('one')\n    <fim_suffix>\n    print('three')<fim_middle>"
inputs = tokenizer.encode(input_text, return_tensors="pt").to(device)
outputs = model.generate(inputs)
print(tokenizer.decode(outputs[0]))

🔧 技術詳細

モデル

ハードウェア

ソフトウェア

📄 ライセンス

このモデルは、BigCode OpenRAIL - M v1ライセンス契約の下で提供されています。完全な契約は こちら で確認できます。