Codegen 16B Mono

🚀 CodeGen (CodeGen-Mono 16B)

CodeGen是一個用於程序合成的自迴歸語言模型家族，能夠從給定的自然語言和編程語言文本中提取特徵，並計算其可能性。它尤其擅長根據英文提示生成可執行代碼。

🚀 快速開始

此模型可以使用AutoModelForCausalLM輕鬆加載：

from transformers import AutoTokenizer, AutoModelForCausalLM
tokenizer = AutoTokenizer.from_pretrained("Salesforce/codegen-16B-mono")
model = AutoModelForCausalLM.from_pretrained("Salesforce/codegen-16B-mono")

text = "def hello_world():"
input_ids = tokenizer(text, return_tensors="pt").input_ids

generated_ids = model.generate(input_ids, max_length=128)
print(tokenizer.decode(generated_ids[0], skip_special_tokens=True))

✨ 主要特性

• CodeGen是一個自迴歸語言模型家族，用於程序合成。
• 該模型家族有3種預訓練數據變體（NL、Multi、Mono）和4種模型大小變體（350M、2B、6B、16B）。
• 本倉庫包含的檢查點為CodeGen-Mono 16B，它基於CodeGen-Multi 16B初始化，並在Python編程語言數據集上進一步預訓練。

📚 詳細文檔

模型描述

CodeGen是一個用於程序合成的自迴歸語言模型家族，出自論文 A Conversational Paradigm for Program Synthesis，作者為Erik Nijkamp、Bo Pang、Hiroaki Hayashi、Lifu Tu、Huan Wang、Yingbo Zhou、Silvio Savarese和Caiming Xiong。這些模型最初發布在 此倉庫 中，有3種預訓練數據變體（NL、Multi、Mono）和4種模型大小變體（350M、2B、6B、16B）。

本倉庫包含的檢查點在論文中表示為CodeGen-Mono 16B，其中“Mono”表示該模型基於CodeGen-Multi 16B初始化，並在Python編程語言數據集上進一步預訓練，“16B”指的是可訓練參數的數量。

訓練數據

此檢查點（CodeGen-Mono 16B）首先基於CodeGen-Multi 16B初始化，然後在BigPython數據集上進行預訓練。該數據包含717億個Python編程語言的標記。更多詳細信息請參閱 論文 的第2.1節。

訓練過程

CodeGen使用交叉熵損失進行訓練，以最大化序列輸入的可能性。該模型家族由Google使用多個TPU-v4-512進行訓練，利用了數據和模型並行性。更多詳細信息請參閱 論文 的第2.3節。

評估結果

我們在兩個人工智能代碼生成基準測試上評估了我們的模型：HumanEval和MTPB。更多詳細信息請參閱 論文。

預期用途和侷限性

作為一個自迴歸語言模型，CodeGen能夠從給定的自然語言和編程語言文本中提取特徵，並計算其可能性。然而，該模型的預期用途和優勢在於程序合成，即根據英文提示生成可執行代碼，提示應以註釋字符串的形式給出。該模型也可以完成部分生成的代碼。

倫理考慮

此版本僅用於支持學術論文的研究目的。我們的模型、數據集和代碼並非專門為所有下游用途而設計或評估。我們強烈建議用戶在部署此模型之前評估並解決與準確性、安全性和公平性相關的潛在問題。我們鼓勵用戶考慮人工智能的常見侷限性，遵守適用法律，並在選擇用例時採用最佳實踐，特別是在錯誤或濫用可能對人們的生活、權利或安全產生重大影響的高風險場景中。有關用例的進一步指導，請參閱我們的AUP和AI AUP。

📄 許可證

本項目採用BSD 3條款許可證（BSD-3-Clause License）。

📖 BibTeX引用和引用信息

@article{Nijkamp2022ACP,
  title={A Conversational Paradigm for Program Synthesis},
  author={Nijkamp, Erik and Pang, Bo and Hayashi, Hiroaki and Tu, Lifu and Wang, Huan and Zhou, Yingbo and Savarese, Silvio and Xiong, Caiming},
  journal={arXiv preprint},
  year={2022}
}