Tiny Starcoder Py

🚀 TinyStarCoderPy

TinyStarCoderPy是一個參數為1.64億的模型，其架構與StarCoder相同（上下文長度為8k，採用MQA和FIM）。它在來自StarCoderData的Python數據上進行了約6個輪次的訓練，總計處理了1000億個標記。

🚀 快速開始

本模型在GitHub代碼上進行訓練，可用於協助完成一些任務，如輔助生成。對於純代碼補全任務，建議使用我們的150億參數模型StarCoder或StarCoderBase。

💻 使用示例

基礎用法

# pip install -q transformers
from transformers import AutoModelForCausalLM, AutoTokenizer

checkpoint = "bigcode/tiny_starcoder_py"
device = "cuda" # for GPU usage or "cpu" for CPU usage

tokenizer = AutoTokenizer.from_pretrained(checkpoint)
model = AutoModelForCausalLM.from_pretrained(checkpoint).to(device)

inputs = tokenizer.encode("def print_hello_world():", return_tensors="pt").to(device)
outputs = model.generate(inputs)
print(tokenizer.decode(outputs[0]))

高級用法

Fill-in-the-middle使用特殊標記來識別輸入和輸出的前綴/中間/後綴部分：

input_text = "<fim_prefix>def print_one_two_three():\n    print('one')\n    <fim_suffix>\n    print('three')<fim_middle>"
inputs = tokenizer.encode(input_text, return_tensors="pt").to(device)
outputs = model.generate(inputs)
print(tokenizer.decode(outputs[0]))

🔧 技術細節

模型

硬件

軟件

📄 許可證

該模型遵循BigCode OpenRAIL - M v1許可協議。你可以在此處查看完整協議。