Code Trans T5 Small Code Comment Generation Java Multitask

🚀 CodeTransモデル（Javaコードコメント生成用）

このモデルは、t5 smallモデルアーキテクチャを使用してJavaプログラミング言語で事前学習されたものです。初めて公開されたのは、このリポジトリです。このモデルはトークン化されたJavaコード関数で学習されており、トークン化されたJava関数で最も良い性能を発揮します。

✨ 主な機能

このCodeTransモデルは、t5-smallモデルをベースにしています。独自のSentencePiece語彙モデルを持っています。ソフトウェア開発領域の13の教師ありタスクと7つの教師なしデータセットを用いたマルチタスク学習を行っています。

📚 ドキュメント

想定される用途と制限

このモデルは、Java関数の説明を生成するために使用したり、他のJavaコードタスクで微調整することができます。構文解析されていない、トークン化されていないJavaコードにも使用できます。ただし、Javaコードがトークン化されている場合、性能は向上するはずです。

使い方

TransformersのSummarizationPipelineを使用して、このモデルをJava関数のドキュメント生成に使用する方法は次のとおりです。

from transformers import AutoTokenizer, AutoModelWithLMHead, SummarizationPipeline

pipeline = SummarizationPipeline(
    model=AutoModelWithLMHead.from_pretrained("SEBIS/code_trans_t5_small_code_comment_generation_java_multitask"),
    tokenizer=AutoTokenizer.from_pretrained("SEBIS/code_trans_t5_small_code_comment_generation_java_multitask", skip_special_tokens=True),
    device=0
)

tokenized_code = "protected String renderUri ( URI uri ) { return uri . toASCIIString ( ) ; }"
pipeline([tokenized_code])

この例をcolab notebookで実行してください。

学習データ

教師あり学習タスクのデータセットは、こちらからダウンロードできます。

学習手順

マルチタスク事前学習

このモデルは、単一のTPU Pod V3 - 8で合計360,000ステップ、シーケンス長512（バッチサイズ4096）で学習されました。総計で約220Mのパラメータを持ち、エンコーダ - デコーダアーキテクチャを使用して学習されました。オプティマイザとしては、事前学習に逆平方根学習率スケジュールを持つAdaFactorを使用しました。

評価結果

コードドキュメントタスクにおいて、異なるモデルが異なるプログラミング言語で次のような結果（BLEUスコア）を達成しています。

テスト結果 :

Created by Ahmed Elnaggar | LinkedIn and Wei Ding | LinkedIn