Tiny Starcoder Py

🚀 TinyStarCoderPy

TinyStarCoderPy是一个参数为1.64亿的模型，其架构与StarCoder相同（上下文长度为8k，采用MQA和FIM）。它在来自StarCoderData的Python数据上进行了约6个轮次的训练，总计处理了1000亿个标记。

🚀 快速开始

本模型在GitHub代码上进行训练，可用于协助完成一些任务，如辅助生成。对于纯代码补全任务，建议使用我们的150亿参数模型StarCoder或StarCoderBase。

💻 使用示例

基础用法

# pip install -q transformers
from transformers import AutoModelForCausalLM, AutoTokenizer

checkpoint = "bigcode/tiny_starcoder_py"
device = "cuda" # for GPU usage or "cpu" for CPU usage

tokenizer = AutoTokenizer.from_pretrained(checkpoint)
model = AutoModelForCausalLM.from_pretrained(checkpoint).to(device)

inputs = tokenizer.encode("def print_hello_world():", return_tensors="pt").to(device)
outputs = model.generate(inputs)
print(tokenizer.decode(outputs[0]))

高级用法

Fill-in-the-middle使用特殊标记来识别输入和输出的前缀/中间/后缀部分：

input_text = "<fim_prefix>def print_one_two_three():\n    print('one')\n    <fim_suffix>\n    print('three')<fim_middle>"
inputs = tokenizer.encode(input_text, return_tensors="pt").to(device)
outputs = model.generate(inputs)
print(tokenizer.decode(outputs[0]))

🔧 技术细节

模型

硬件

软件

📄 许可证

该模型遵循BigCode OpenRAIL - M v1许可协议。你可以在此处查看完整协议。