Codet5 Base Multi Sum

🚀 CodeT5-baseによるコード要約

CodeT5-baseモデルは、多言語学習環境（Ruby/JavaScript/Go/Python/Java/PHP）においてCodeSearchNetデータでファインチューニングされ、コード要約に使用されます。このモデルは、Yue Wang、Weishi Wang、Shafiq Joty、Steven C.H. HoiによるEMNLP 2021の論文CodeT5: Identifier-aware Unified Pre-trained Encoder-Decoder Models for Code Understanding and Generationで紹介されました。詳細はこのリポジトリをご覧ください。

🚀 クイックスタート

💻 使用例

基本的な使用法

from transformers import RobertaTokenizer, T5ForConditionalGeneration

if __name__ == '__main__':
    tokenizer = RobertaTokenizer.from_pretrained('Salesforce/codet5-base-multi-sum')
    model = T5ForConditionalGeneration.from_pretrained('Salesforce/codet5-base-multi-sum')

    text = """def svg_to_image(string, size=None):
    if isinstance(string, unicode):
        string = string.encode('utf-8')
        renderer = QtSvg.QSvgRenderer(QtCore.QByteArray(string))
    if not renderer.isValid():
        raise ValueError('Invalid SVG data.')
    if size is None:
        size = renderer.defaultSize()
        image = QtGui.QImage(size, QtGui.QImage.Format_ARGB32)
        painter = QtGui.QPainter(image)
        renderer.render(painter)
    return image"""

    input_ids = tokenizer(text, return_tensors="pt").input_ids

    generated_ids = model.generate(input_ids, max_length=20)
    print(tokenizer.decode(generated_ids[0], skip_special_tokens=True))
    # this prints: "Convert a SVG string to a QImage."

📚 ドキュメント

ファインチューニングデータ

コード要約のファインチューニングには、CodeXGLUEベンチマークからのCodeSearchNetデータのフィルター済みバージョン[Husain et al., 2019]を使用しています。このデータは、事前学習されたコード固有のBPE（Byte-Pair Encoding）トークナイザーでトークナイズされています。codet5-baseの語彙ファイルを持つRobertaTokenizerを使用して、モデル用のテキスト（またはコード）を準備することができます。

データ統計

トレーニング手順

このモデルは、多タスク学習環境において、6つのプログラミング言語（Ruby/JavaScript/Go/Python/Java/PHP）でcodet5-baseをファインチューニングしています。高リソースのタスクに偏らないように、バランスの取れたサンプリングを採用しています。詳細は論文を参照してください。

評価結果

論文では、異なるプログラミング言語（PL）に対して異なる最適なチェックポイントを選択できますが、ここではすべてのPLに1つのチェックポイントを使用しています。また、トレーニングと推論でPLを指定するタスク制御プレフィックスを削除しています。テストセットでの結果は以下の通りです。

📄 ライセンス

このプロジェクトは、BSD 3条項ライセンスの下で公開されています。

📖 引用

@inproceedings{
    wang2021codet5,
    title={CodeT5: Identifier-aware Unified Pre-trained Encoder-Decoder Models for Code Understanding and Generation}, 
    author={Yue Wang, Weishi Wang, Shafiq Joty, Steven C.H. Hoi},
    booktitle={Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, EMNLP 2021},
    year={2021},
}