Codebertapy

🚀 CodeBERTaPy

CodeBERTaPyは、Manuel Romeroによって、GitHubのCodeSearchNetデータセットのpythonコーパスを使って学習されたRoBERTaに似たモデルです。

トークナイザーは、Hugging Faceのtokenizersを使用してコーパス上で学習されたByte-level BPEトークナイザーです。

自然言語ではなくコードのコーパスで学習されているため、コーパスを効率的にエンコードします（gpt2/robertaでトークナイズされた同じコーパスと比較して、シーケンスは33％から50％短くなります）。

（小規模な）モデルは、6層、84MパラメータのRoBERTaに似たTransformerモデルです。これはDistilBERTと同じ層数とヘッド数で、デフォルトの初期化設定から初期化され、完全なpythonコーパスで4エポック学習されました。

🚀 クイックスタート：マスク言語モデリング予測

基本的な使用法

PYTHON_CODE = """
fruits = ['apples', 'bananas', 'oranges']
for idx, <mask> in enumerate(fruits):
  print("index is %d and value is %s" % (idx, val))
""".lstrip()

モデルは単純なPythonコードを完成させる方法を知っていますか？

from transformers import pipeline

fill_mask = pipeline(
    "fill-mask",
    model="mrm8488/CodeBERTaPy",
    tokenizer="mrm8488/CodeBERTaPy"
)

fill_mask(PYTHON_CODE)

## 上位5つの予測:

'val' # prob  0.980728805065155
'value'
'idx'
',val'
'_'

はい！簡単でした🎉 別のFlaskのような例で試してみましょう

PYTHON_CODE2 = """
@app.route('/<name>')
def hello_name(name):
    return "Hello {}!".format(<mask>)

if __name__ == '__main__':
    app.run()
""".lstrip()


fill_mask(PYTHON_CODE2)

## 上位5つの予測:

'name' # prob  0.9961813688278198
' name'
'url'
'description'
'self'

高度な使用法

ええ！動作しました🎉 別のTensorflow/Kerasのような例で試してみましょう

PYTHON_CODE3="""
model = keras.Sequential([
    keras.layers.Flatten(input_shape=(28, 28)),
    keras.layers.<mask>(128, activation='relu'),
    keras.layers.Dense(10, activation='softmax')
])
""".lstrip()


fill_mask(PYTHON_CODE3)

## 上位5つの予測:

'Dense' # prob   0.4482928514480591
'relu'
'Flatten'
'Activation'
'Conv'

素晴らしい！🎉

🔗 関連情報

この作品は、Hugging FaceチームによるCodeBERTaに大きく影響を受けています。

📄 ライセンス

CodeSearchNet引用

@article{husain_codesearchnet_2019,
	title = {{CodeSearchNet} {Challenge}: {Evaluating} the {State} of {Semantic} {Code} {Search}},
	shorttitle = {{CodeSearchNet} {Challenge}},
	url = {http://arxiv.org/abs/1909.09436},
	urldate = {2020-03-12},
	journal = {arXiv:1909.09436 [cs, stat]},
	author = {Husain, Hamel and Wu, Ho-Hsiang and Gazit, Tiferet and Allamanis, Miltiadis and Brockschmidt, Marc},
	month = sep,
	year = {2019},
	note = {arXiv: 1909.09436},
}

Created by Manuel Romero/@mrm8488

Made with ♥ in Spain