Code Trans T5 Large Code Comment Generation Java Multitask Finetune

🚀 CodeTransモデル（Javaコードドキュメント生成用）

このモデルは、t5 largeモデルアーキテクチャを使用してJavaプログラミング言語で事前学習されたものです。初めて公開されたのは、このリポジトリです。このモデルはトークン化されたJavaコード関数で学習されており、トークン化されたJava関数で最も良い性能を発揮します。

🚀 クイックスタート

このセクションでは、CodeTransモデルを使用してJava関数のドキュメントを生成する方法を説明します。

モデルの概要

このCodeTransモデルは、t5-largeモデルに基づいています。独自のSentencePiece語彙モデルを持っており、ソフトウェア開発分野の13の教師付きタスクと7つの教師なしデータセットでマルチタスク学習を行っています。その後、Java関数/メソッドのコードコメント生成タスクでファインチューニングされています。

想定される用途と制限

このモデルは、Java関数の説明を生成するために使用することができます。また、他のJavaコードタスクでファインチューニングすることもできます。解析されていない、トークン化されていないJavaコードでも使用できますが、Javaコードがトークン化されている場合、性能は向上するはずです。

使い方

以下は、TransformersのSummarizationPipelineを使用してこのモデルを使ってJava関数のドキュメントを生成する方法です。

from transformers import AutoTokenizer, AutoModelWithLMHead, SummarizationPipeline

pipeline = SummarizationPipeline(
    model=AutoModelWithLMHead.from_pretrained("SEBIS/code_trans_t5_large_code_comment_generation_java_multitask_finetune"),
    tokenizer=AutoTokenizer.from_pretrained("SEBIS/code_trans_t5_large_code_comment_generation_java_multitask_finetune", skip_special_tokens=True),
    device=0
)

tokenized_code = "protected String renderUri ( URI uri ) { return uri . toASCIIString ( ) ; }"
pipeline([tokenized_code])

この例をcolab notebookで実行してください。

学習データ

教師付き学習タスクのデータセットは、こちらのリンクからダウンロードできます。

学習手順

マルチタスク事前学習

このモデルは、シーケンス長512（バッチサイズ4096）を使用して、合計260,000ステップ、単一のTPU Pod V3 - 8で学習されました。合計で約220Mのパラメータを持ち、エンコーダ - デコーダアーキテクチャを使用して学習されました。事前学習には、逆平方根学習率スケジュールを持つAdaFactorオプティマイザが使用されました。

ファインチューニング

このモデルは、シーケンス長512（バッチサイズ256）を使用して、合計25,000ステップ、単一のTPU Pod V3 - 8でファインチューニングされました。このとき、Javaコードのみを含むデータセットのみが使用されました。

評価結果

コードドキュメントタスクにおいて、異なるモデルが異なるプログラミング言語で次のような結果（BLEUスコア）を達成しています。

テスト結果：

Created by Ahmed Elnaggar | LinkedIn and Wei Ding | LinkedIn