Codeberta Small V1

🚀 CodeBERTa

このプロジェクトは、transformers 4.41.1を使用してSafeTensors形式でhuggingface/CodeBERTa-small-v1を非公式に再アップロードしたものです。再アップロードの目的は、HuggingFaceの変更によってまだ関連するベースラインとなる古いモデルが陳腐化するのを防ぐことです。さらに、モデルの最大長設定などの小幅な修正を含める場合があります。

メタ情報

オリジナルのモデルカード

CodeBERTaは、GitHubのCodeSearchNetデータセットを使用して学習されたRoBERTaに似たモデルです。

サポートされる言語

"go"
"java"
"javascript"
"php"
"python"
"ruby"

トークナイザー

トークナイザーは、Hugging Faceのtokenizersを使用してコーパス上で学習されたByte-level BPEトークナイザーです。自然言語ではなくコードのコーパスで学習されているため、コーパスを効率的にエンコードします（gpt2/robertaでトークナイズされた同じコーパスと比較して、シーケンスは33％から50％短くなります）。

モデル

（小規模な）モデルは、6層、84MパラメータのRoBERTaに似たTransformerモデルです。これはDistilBERTと同じ層数とヘッド数で、デフォルトの初期化設定から初期化され、完全なコーパス（約200万の関数）で5エポック学習されています。

この学習のTensorboard ⤵️

🚀 クイックスタート

💻 使用例

基本的な使用法

PHP_CODE = """
public static <mask> set(string $key, $value) {
	if (!in_array($key, self::$allowedKeys)) {
		throw new \InvalidArgumentException('Invalid key given');
	}
	self::$storedValues[$key] = $value;
}
""".lstrip()

高度な使用法

# モデルが単純なPHPコードを完成させる方法を知っているか？
from transformers import pipeline

fill_mask = pipeline(
    "fill-mask",
    model="huggingface/CodeBERTa-small-v1",
    tokenizer="huggingface/CodeBERTa-small-v1"
)

fill_mask(PHP_CODE)

## 上位5つの予測:
# 
' function' # prob 0.9999827146530151
'function'  # 
' void'     # 
' def'      # 
' final'    # 

PYTHON_CODE = """
def pipeline(
    task: str,
    model: Optional = None,
    framework: Optional[<mask>] = None,
    **kwargs
) -> Pipeline:
	pass
""".lstrip()

結果:

'framework', 'Framework', ' framework', 'None', 'str'

このプログラムは自分自身を自動完成できます！ 😱

# 楽しみのために、自然言語（コードではない）をマスクしてみましょう。
fill_mask("My name is <mask>.")

# {'sequence': '<s> My name is undefined.</s>', 'score': 0.2548016905784607, 'token': 3353}
# {'sequence': '<s> My name is required.</s>', 'score': 0.07290805131196976, 'token': 2371}
# {'sequence': '<s> My name is null.</s>', 'score': 0.06323737651109695, 'token': 469}
# {'sequence': '<s> My name is name.</s>', 'score': 0.021919190883636475, 'token': 652}
# {'sequence': '<s> My name is disabled.</s>', 'score': 0.019681859761476517, 'token': 7434}

これは（ある程度）機能します。なぜなら、コードには自然言語を含むコメントが含まれているからです。もちろん、コンピュータサイエンティストの最も頻繁な名前はundefinedでなければなりません 🤓。

📚 詳細ドキュメント

下流タスク: プログラミング言語識別

huggingface/CodeBERTa-language-id のモデルカードを参照してください 🤯。

CodeSearchNet引用

@article{husain_codesearchnet_2019,
	title = {{CodeSearchNet} {Challenge}: {Evaluating} the {State} of {Semantic} {Code} {Search}},
	shorttitle = {{CodeSearchNet} {Challenge}},
	url = {http://arxiv.org/abs/1909.09436},
	urldate = {2020-03-12},
	journal = {arXiv:1909.09436 [cs, stat]},
	author = {Husain, Hamel and Wu, Ho-Hsiang and Gazit, Tiferet and Allamanis, Miltiadis and Brockschmidt, Marc},
	month = sep,
	year = {2019},
	note = {arXiv: 1909.09436},
}