Starcoder2 15b

🚀 StarCoder2

StarCoder2-15B是一個擁有150億參數的模型，在600多種編程語言上進行訓練。它採用了先進的技術，如分組查詢注意力、大上下文窗口等，能夠根據給定的上下文生成代碼片段。

🚀 快速開始

安裝依賴

首先，確保從源代碼安裝transformers：

pip install git+https://github.com/huggingface/transformers.git

運行模型

在CPU/GPU/多GPU上運行模型

• 使用全精度

# pip install git+https://github.com/huggingface/transformers.git # TODO: merge PR to main
from transformers import AutoModelForCausalLM, AutoTokenizer

checkpoint = "bigcode/starcoder2-15b"
device = "cuda" # for GPU usage or "cpu" for CPU usage

tokenizer = AutoTokenizer.from_pretrained(checkpoint)
# for multiple GPUs install accelerate and do `model = AutoModelForCausalLM.from_pretrained(checkpoint, device_map="auto")`
model = AutoModelForCausalLM.from_pretrained(checkpoint).to(device)

inputs = tokenizer.encode("def print_hello_world():", return_tensors="pt").to(device)
outputs = model.generate(inputs)
print(tokenizer.decode(outputs[0]))

• 使用torch.bfloat16

# pip install accelerate
import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

checkpoint = "bigcode/starcoder2-15b"
tokenizer = AutoTokenizer.from_pretrained(checkpoint)

# for fp16 use `torch_dtype=torch.float16` instead
model = AutoModelForCausalLM.from_pretrained(checkpoint, device_map="auto", torch_dtype=torch.bfloat16)

inputs = tokenizer.encode("def print_hello_world():", return_tensors="pt").to("cuda")
outputs = model.generate(inputs)
print(tokenizer.decode(outputs[0]))

>>> print(f"Memory footprint: {model.get_memory_footprint() / 1e6:.2f} MB")
Memory footprint: 32251.33 MB

通過bitsandbytes使用量化版本

• 使用8位精度（int8）

# pip install bitsandbytes accelerate
from transformers import AutoTokenizer, AutoModelForCausalLM, BitsAndBytesConfig

# to use 4bit use `load_in_4bit=True` instead
quantization_config = BitsAndBytesConfig(load_in_8bit=True)

checkpoint = "bigcode/starcoder2-15b"
tokenizer = AutoTokenizer.from_pretrained(checkpoint)
model = AutoModelForCausalLM.from_pretrained(checkpoint, quantization_config=quantization_config)

inputs = tokenizer.encode("def print_hello_world():", return_tensors="pt").to("cuda")
outputs = model.generate(inputs)
print(tokenizer.decode(outputs[0]))

>>> print(f"Memory footprint: {model.get_memory_footprint() / 1e6:.2f} MB")
# load_in_8bit
Memory footprint: 16900.18 MB
# load_in_4bit
>>> print(f"Memory footprint: {model.get_memory_footprint() / 1e6:.2f} MB")
Memory footprint: 9224.60 MB

✨ 主要特性

• 多語言支持：在600多種編程語言上進行訓練，能夠處理多種語言的代碼生成任務。
• 先進技術：採用分組查詢注意力、大上下文窗口和滑動窗口注意力等技術，提高模型性能。
• 填充式中間目標：使用填充式中間目標進行訓練，增強模型的代碼生成能力。

📚 詳細文檔

模型概述

StarCoder2-15B模型是一個擁有150億參數的模型，在來自The Stack v2的600多種編程語言上進行訓練，排除了選擇退出請求的數據。該模型使用了分組查詢注意力、16384個標記的上下文窗口和4096個標記的滑動窗口注意力，並在4萬億多個標記上使用填充式中間目標進行訓練。

預期用途

該模型在GitHub代碼以及其他選定的數據源（如Arxiv和Wikipedia）上進行訓練。因此，它不是一個指令模型，像“編寫一個計算平方根的函數”這樣的命令效果不佳。

歸屬與其他要求

該模型的預訓練數據集僅過濾了許可寬鬆的代碼和無許可的代碼。然而，模型可以逐字生成數據集中的源代碼。代碼的許可證可能要求歸屬和/或其他特定要求，必須予以遵守。我們提供了一個搜索索引，可用於搜索預訓練數據，以確定生成的代碼來自何處，並對代碼進行適當的歸屬。

侷限性

該模型在600多種編程語言的源代碼上進行訓練。源代碼中主要語言是英語，儘管也存在其他語言。因此，該模型能夠根據一些上下文生成代碼片段，但生成的代碼不能保證按預期工作。它可能效率低下、包含錯誤或漏洞。有關模型侷限性的深入討論，請參閱論文。

訓練

模型

• 架構：具有分組查詢和滑動窗口注意力以及填充式中間目標的Transformer解碼器
• 預訓練步驟：100萬步
• 預訓練標記：4萬億多個
• 精度：bfloat16

硬件

• GPU：1024個H100

軟件

• 框架：NeMo框架
• 神經網絡：PyTorch

📄 許可證

該模型遵循BigCode OpenRAIL-M v1許可協議。您可以在此處找到完整的協議。

📚 引用

@misc{lozhkov2024starcoder,
      title={StarCoder 2 and The Stack v2: The Next Generation}, 
      author={Anton Lozhkov and Raymond Li and Loubna Ben Allal and Federico Cassano and Joel Lamy-Poirier and Nouamane Tazi and Ao Tang and Dmytro Pykhtar and Jiawei Liu and Yuxiang Wei and Tianyang Liu and Max Tian and Denis Kocetkov and Arthur Zucker and Younes Belkada and Zijian Wang and Qian Liu and Dmitry Abulkhanov and Indraneil Paul and Zhuang Li and Wen-Ding Li and Megan Risdal and Jia Li and Jian Zhu and Terry Yue Zhuo and Evgenii Zheltonozhskii and Nii Osae Osae Dade and Wenhao Yu and Lucas Krauß and Naman Jain and Yixuan Su and Xuanli He and Manan Dey and Edoardo Abati and Yekun Chai and Niklas Muennighoff and Xiangru Tang and Muhtasham Oblokulov and Christopher Akiki and Marc Marone and Chenghao Mou and Mayank Mishra and Alex Gu and Binyuan Hui and Tri Dao and Armel Zebaze and Olivier Dehaene and Nicolas Patry and Canwen Xu and Julian McAuley and Han Hu and Torsten Scholak and Sebastien Paquet and Jennifer Robinson and Carolyn Jane Anderson and Nicolas Chapados and Mostofa Patwary and Nima Tajbakhsh and Yacine Jernite and Carlos Muñoz Ferrandis and Lingming Zhang and Sean Hughes and Thomas Wolf and Arjun Guha and Leandro von Werra and Harm de Vries},
      year={2024},
      eprint={2402.19173},
      archivePrefix={arXiv},
      primaryClass={cs.SE}
}

信息表格