Codebertapy

🚀 CodeBERTaPy

CodeBERTaPy是一個類似RoBERTa的模型，由Manuel Romero基於GitHub的CodeSearchNet數據集，針對python語言進行訓練。

分詞器是一個基於字節級的BPE分詞器，它使用Hugging Face的tokenizers在語料庫上進行訓練。

由於該模型是在代碼語料庫（而非自然語言）上進行訓練的，因此它能夠高效地對語料庫進行編碼（與使用gpt2/roberta進行分詞的相同語料庫相比，序列長度縮短了33%至50%）。

這個（小型）模型是一個6層、8400萬個參數的類RoBERTa Transformer模型，其層數和頭數與DistilBERT相同。該模型從默認初始化設置開始初始化，並在完整的python語料庫上從頭開始訓練了4個週期。

🚀 快速開始

✨ 掩碼語言建模預測

PYTHON_CODE = """
fruits = ['apples', 'bananas', 'oranges']
for idx, <mask> in enumerate(fruits):
  print("index is %d and value is %s" % (idx, val))
""".lstrip()

🔍 模型是否知道如何補全簡單的Python代碼？

from transformers import pipeline

fill_mask = pipeline(
    "fill-mask",
    model="mrm8488/CodeBERTaPy",
    tokenizer="mrm8488/CodeBERTaPy"
)

fill_mask(PYTHON_CODE)

## 前5個預測結果:

'val' # 概率  0.980728805065155
'value'
'idx'
',val'
'_'

🎉 是的！很簡單。讓我們嘗試另一個類似Flask的示例。

PYTHON_CODE2 = """
@app.route('/<name>')
def hello_name(name):
    return "Hello {}!".format(<mask>)

if __name__ == '__main__':
    app.run()
""".lstrip()


fill_mask(PYTHON_CODE2)

## 前5個預測結果:

'name' # 概率  0.9961813688278198
' name'
'url'
'description'
'self'

🎉 耶！它成功了。讓我們嘗試另一個類似Tensorflow/Keras的示例。

PYTHON_CODE3="""
model = keras.Sequential([
    keras.layers.Flatten(input_shape=(28, 28)),
    keras.layers.<mask>(128, activation='relu'),
    keras.layers.Dense(10, activation='softmax')
])
""".lstrip()


fill_mask(PYTHON_CODE3)

## 前5個預測結果:

'Dense' # 概率  0.4482928514480591
'relu'
'Flatten'
'Activation'
'Conv'

太棒了！🎉

📚 參考信息

本工作深受Hugging Face團隊的CodeBERTa啟發。

📄 CodeSearchNet引用

@article{husain_codesearchnet_2019,
	title = {{CodeSearchNet} {Challenge}: {Evaluating} the {State} of {Semantic} {Code} {Search}},
	shorttitle = {{CodeSearchNet} {Challenge}},
	url = {http://arxiv.org/abs/1909.09436},
	urldate = {2020-03-12},
	journal = {arXiv:1909.09436 [cs, stat]},
	author = {Husain, Hamel and Wu, Ho-Hsiang and Gazit, Tiferet and Allamanis, Miltiadis and Brockschmidt, Marc},
	month = sep,
	year = {2019},
	note = {arXiv: 1909.09436},
}

由Manuel Romero/@mrm8488創建

於西班牙用心打造 ♥