Code Trans T5 Base Code Comment Generation Java Multitask Finetune

🚀 CodeTransモデル（Javaコードコメント生成用）

T5ベースモデルアーキテクチャを使用して、Javaプログラミング言語で事前学習されたモデルです。このモデルは、トークン化されたJavaコード関数で訓練されており、トークン化されたJava関数で最適な性能を発揮します。

🚀 クイックスタート

このCodeTransモデルは、このリポジトリで最初に公開されました。これは、t5-baseモデルをベースにしており、独自のSentencePiece語彙モデルを持っています。ソフトウェア開発ドメインの13の教師ありタスクと7つの教師なしデータセットでマルチタスク学習を行い、その後、Java関数/メソッドのコードコメント生成タスクでファインチューニングされています。

✨ 主な機能

• このモデルは、Java関数の説明を生成するために使用できるか、他のJavaコードタスクでファインチューニングすることも可能です。
• 解析されていない、トークン化されていないJavaコードにも使用できます。ただし、Javaコードがトークン化されている場合、性能は向上するはずです。

📦 インストール

このモデルを使用するには、必要なライブラリをインストールする必要があります。以下のコードを実行して、必要なライブラリをインストールします。

pip install transformers

💻 使用例

基本的な使用法

以下は、TransformersのSummarizationPipelineを使用してこのモデルを使ってJava関数のドキュメントを生成する方法です。

from transformers import AutoTokenizer, AutoModelWithLMHead, SummarizationPipeline

pipeline = SummarizationPipeline(
    model=AutoModelWithLMHead.from_pretrained("SEBIS/code_trans_t5_base_code_comment_generation_java_multitask_finetune"),
    tokenizer=AutoTokenizer.from_pretrained("SEBIS/code_trans_t5_base_code_comment_generation_java_multitask_finetune", skip_special_tokens=True),
    device=0
)

tokenized_code = "protected String renderUri ( URI uri ) { return uri . toASCIIString ( ) ; }"
pipeline([tokenized_code])

この例をcolab notebookで実行してください。

📚 ドキュメント

モデルの詳細

訓練手順

マルチタスク事前学習

このモデルは、シーケンス長512（バッチサイズ4096）で、合計260,000ステップ、単一のTPU Pod V3 - 8で訓練されました。総計で約220Mのパラメータを持ち、エンコーダ - デコーダアーキテクチャを使用して訓練されました。事前学習には、逆平方根学習率スケジュールを持つAdaFactorオプティマイザが使用されました。

ファインチューニング

このモデルは、その後、シーケンス長512（バッチサイズ256）で、合計60,000ステップ、単一のTPU Pod V2 - 8で、Javaコードのみを含むデータセットを使用してファインチューニングされました。

評価結果

コードドキュメントタスクにおいて、異なるモデルが異なるプログラミング言語で次の結果（BLEUスコア）を達成しています。

作成者: Ahmed Elnaggar | LinkedIn と Wei Ding | LinkedIn