Codegen 350M Multi

🚀 CodeGen (CodeGen-Multi 350M)

論文「A Conversational Paradigm for Program Synthesis」に基づく、プログラム合成用の自己回帰型言語モデルです。

🚀 クイックスタート

CodeGenは、プログラム合成用の自己回帰型言語モデルのファミリーです。このモデルは、自然言語とプログラミング言語のテキストから特徴を抽出し、それらの尤度を計算することができます。以下に、このモデルの使い方の例を示します。

from transformers import AutoTokenizer, AutoModelForCausalLM
tokenizer = AutoTokenizer.from_pretrained("Salesforce/codegen-350M-multi")
model = AutoModelForCausalLM.from_pretrained("Salesforce/codegen-350M-multi")

text = "def hello_world():"
input_ids = tokenizer(text, return_tensors="pt").input_ids

generated_ids = model.generate(input_ids, max_length=128)
print(tokenizer.decode(generated_ids[0], skip_special_tokens=True))

✨ 主な機能

• 自然言語とプログラミング言語のテキストから特徴を抽出し、尤度を計算することができます。
• 英語のプロンプトを与えることで、実行可能なコードを生成することができます。
• 部分的に生成されたコードを完成させることもできます。

📚 ドキュメント

モデルの説明

CodeGenは、論文「A Conversational Paradigm for Program Synthesis」に基づく、プログラム合成用の自己回帰型言語モデルのファミリーです。この論文の著者は、Erik Nijkamp、Bo Pang、Hiroaki Hayashi、Lifu Tu、Huan Wang、Yingbo Zhou、Silvio Savarese、Caiming Xiongです。これらのモデルは、元々 このリポジトリ で公開されており、3つの事前学習データバリアント (NL、Multi、Mono) と4つのモデルサイズバリアント (350M、2B、6B、16B) があります。

このリポジトリに含まれるチェックポイントは、論文では CodeGen-Multi 350M と表記されています。ここで、"Multi" は、モデルが CodeGen-NL 350M で初期化され、複数のプログラミング言語のデータセットでさらに事前学習されたことを意味し、"350M" は学習可能なパラメータの数を指します。

学習データ

このチェックポイント (CodeGen-Multi 350M) は、まず CodeGen-NL 350M で初期化され、その後、GitHubリポジトリからの複数のプログラミング言語の大規模データセットである BigQuery で事前学習されました。このデータは119.2Bトークンから構成され、C、C++、Go、Java、JavaScript、Pythonを含んでいます。

学習手順

CodeGenは、逐次入力の尤度を最大化するために交差エントロピー損失を使用して学習されました。これらのモデルファミリーは、Googleの複数のTPU-v4-512を使用し、データ並列とモデル並列を活用して学習されました。詳細については、論文 のセクション2.3を参照してください。

評価結果

私たちは、2つのコード生成ベンチマークであるHumanEvalとMTPBでモデルを評価しました。詳細については、論文 を参照してください。

使用目的と制限事項

自己回帰型言語モデルとして、CodeGenは、与えられた自然言語とプログラミング言語のテキストから特徴を抽出し、それらの尤度を計算することができます。ただし、このモデルは、プログラム合成を目的としており、英語のプロンプトを与えることで実行可能なコードを生成するのに最適です。ここで、プロンプトはコメント文字列の形式である必要があります。また、部分的に生成されたコードを完成させることもできます。

倫理的な考慮事項

このリリースは、学術論文をサポートするための研究目的のみです。私たちのモデル、データセット、コードは、すべての下流の目的に特に設計または評価されていません。このモデルをデプロイする前に、ユーザーは精度、安全性、公正性に関する潜在的な懸念事項を評価し、対処することを強くお勧めします。ユーザーは、AIの一般的な制限事項を考慮し、適用される法律に準拠し、特にエラーや誤用が人々の生活、権利、または安全に重大な影響を与える可能性のある高リスクシナリオの場合には、ベストプラクティスを活用することをお勧めします。使用事例に関するさらなるガイダンスについては、私たちのAUPとAI AUPを参照してください。

BibTeXエントリと引用情報

@article{Nijkamp2022ACP,
  title={A Conversational Paradigm for Program Synthesis},
  author={Nijkamp, Erik and Pang, Bo and Hayashi, Hiroaki and Tu, Lifu and Wang, Huan and Zhou, Yingbo and Savarese, Silvio and Xiong, Caiming},
  journal={arXiv preprint},
  year={2022}
}

📄 ライセンス

このプロジェクトは、BSD 3条項ライセンスの下で提供されています。