Codeparrot

🚀 CodeParrot 🦜

CodeParrot 🦜は、Pythonコードを生成するように訓練されたGPT - 2モデル（15億パラメータ）です。v1.0の最初の訓練とリリース後、さらに訓練を行いv1.1をリリースしました（詳細は以下を参照）。

🚀 クイックスタート

モデルの読み込み

transformers で直接CodeParrotモデルとトークナイザーを読み込むことができます。

from transformers import AutoTokenizer, AutoModelWithLMHead
  
tokenizer = AutoTokenizer.from_pretrained("codeparrot/codeparrot")
model = AutoModelWithLMHead.from_pretrained("codeparrot/codeparrot")

inputs = tokenizer("def hello_world():", return_tensors="pt")
outputs = model(**inputs)

パイプラインを使用する場合

from transformers import pipeline

pipe = pipeline("text-generation", model="codeparrot/codeparrot")
outputs = pipe("def hello_world():")

✨ 主な機能

• Pythonコードの生成が可能です。
• モデルのバージョンアップにより、コード生成の性能が向上しています。

📦 インストール

このREADMEには具体的なインストール手順が記載されていないため、このセクションは省略します。

💻 使用例

基本的な使用法

from transformers import AutoTokenizer, AutoModelWithLMHead
  
tokenizer = AutoTokenizer.from_pretrained("codeparrot/codeparrot")
model = AutoModelWithLMHead.from_pretrained("codeparrot/codeparrot")

inputs = tokenizer("def hello_world():", return_tensors="pt")
outputs = model(**inputs)

高度な使用法

from transformers import pipeline

pipe = pipeline("text-generation", model="codeparrot/codeparrot")
outputs = pipe("def hello_world():")

📚 ドキュメント

訓練の詳細

このモデルは、クリーニングされたCodeParrot 🦜 データセットを使って2段階で訓練されました。最初の訓練（v1.0）の後、さらに30,000ステップ訓練を行いv1.1となりました。以下の表に設定を示します。

訓練は16台のA100（40GB）GPUで実行されました。この設定では、およそ260億 + 150億トークンの訓練が行われます。

性能評価

このモデルは、OpenAIのHumanEvalベンチマーク（プログラミング課題から構成される）で評価されました。

pass@k指標は、k回の生成のうち少なくとも1回がテストに合格する確率を示します。

リソース

• データセット: フル, 訓練用, 検証用
• コード: リポジトリ
• スペース: 生成, ハイライト