Codegen 350M Mono

🚀 CodeGen (CodeGen-Mono 350M)

CodeGen是用於程序合成的自迴歸語言模型家族，源自Erik Nijkamp、Bo Pang、Hiroaki Hayashi、Lifu Tu、Huan Wang、Yingbo Zhou、Silvio Savarese、Caiming Xiong撰寫的論文A Conversational Paradigm for Program Synthesis。這些模型最初在此倉庫中發佈，有3種預訓練數據變體（NL、Multi、Mono）和4種模型大小變體（350M、2B、6B、16B）。

本倉庫中包含的檢查點在論文中表示為CodeGen-Mono 350M，其中“Mono”表示該模型以CodeGen-Multi 350M初始化，並在Python編程語言數據集上進一步預訓練；“350M”指的是可訓練參數的數量。

🚀 快速開始

本模型可以使用AutoModelForCausalLM輕鬆加載：

from transformers import AutoTokenizer, AutoModelForCausalLM
tokenizer = AutoTokenizer.from_pretrained("Salesforce/codegen-350M-mono")
model = AutoModelForCausalLM.from_pretrained("Salesforce/codegen-350M-mono")

text = "def hello_world():"
input_ids = tokenizer(text, return_tensors="pt").input_ids

generated_ids = model.generate(input_ids, max_length=128)
print(tokenizer.decode(generated_ids[0], skip_special_tokens=True))

✨ 主要特性

• 作為自迴歸語言模型，能夠從給定的自然語言和編程語言文本中提取特徵，並計算其可能性。
• 專為程序合成設計，擅長根據英文提示生成可執行代碼，提示應為註釋字符串形式，也能補全部分生成的代碼。

📚 詳細文檔

模型描述

CodeGen是用於程序合成的自迴歸語言模型家族，源自論文：A Conversational Paradigm for Program Synthesis 。模型最初在此倉庫中發佈，有3種預訓練數據變體（NL、Multi、Mono）和4種模型大小變體（350M、2B、6B、16B）。

本倉庫中包含的檢查點在論文中表示為CodeGen-Mono 350M，其中“Mono”表示該模型以CodeGen-Multi 350M初始化，並在Python編程語言數據集上進一步預訓練；“350M”指的是可訓練參數的數量。

訓練數據

此檢查點（CodeGen-Mono 350M）首先以CodeGen-Multi 350M初始化，然後在BigPython數據集上進行預訓練。該數據包含717億個Python編程語言的標記。更多詳細信息請參閱論文的第2.1節。

訓練過程

CodeGen使用交叉熵損失進行訓練，以最大化序列輸入的可能性。該模型家族由Google使用多個TPU - v4 - 512進行訓練，利用了數據和模型並行性。更多詳細信息請參閱論文的第2.3節。

評估結果

我們在兩個代碼生成基準測試上評估了我們的模型：HumanEval和MTPB。更多詳細信息請參閱論文。

預期用途和侷限性

作為自迴歸語言模型，CodeGen能夠從給定的自然語言和編程語言文本中提取特徵，並計算其可能性。然而，該模型專為程序合成設計，並且最擅長根據英文提示生成可執行代碼，提示應為註釋字符串形式，也能補全部分生成的代碼。

倫理考量

此版本僅用於支持學術論文的研究目的。我們的模型、數據集和代碼並非專門為所有下游用途設計或評估。我們強烈建議用戶在部署此模型之前評估並解決與準確性、安全性和公平性相關的潛在問題。我們鼓勵用戶考慮人工智能的常見侷限性，遵守適用法律，並在選擇用例時採用最佳實踐，特別是在錯誤或濫用可能對人們的生活、權利或安全產生重大影響的高風險場景中。有關用例的進一步指導，請參閱我們的AUP和AI AUP。

BibTeX引用和引用信息

@article{Nijkamp2022ACP,
  title={A Conversational Paradigm for Program Synthesis},
  author={Nijkamp, Erik and Pang, Bo and Hayashi, Hiroaki and Tu, Lifu and Wang, Huan and Zhou, Yingbo and Savarese, Silvio and Xiong, Caiming},
  journal={arXiv preprint},
  year={2022}
}

📄 許可證

本項目採用BSD 3 - 條款許可證。