Code Trans T5 Large Code Documentation Generation Java Multitask

🚀 CodeTransモデルによるJavaコードドキュメント生成

このモデルは、T5 Largeモデルアーキテクチャを使用してJavaプログラミング言語で事前学習されたものです。最初はthisリポジトリで公開されました。このモデルはトークン化されたJavaコード関数で学習されており、トークン化されたJava関数で最適な性能を発揮します。

✨ 主な機能

モデルの説明

このCodeTransモデルはt5-largeモデルをベースにしています。独自のSentencePiece語彙モデルを持っています。ソフトウェア開発分野の13の教師付きタスクと7つの教師なしデータセットを用いたマルチタスク学習を行っています。

想定される用途と制限

このモデルは、Java関数の説明を生成するために使用することができます。また、他のJavaコードタスクで微調整することも可能です。解析されていない、トークン化されていないJavaコードにも使用できますが、Javaコードがトークン化されている場合、性能が向上するはずです。

📦 インストール

このセクションでは、インストールに関する具体的なコマンドが提供されていないため、省略します。

💻 使用例

基本的な使用法

このモデルを使用して、TransformersのSummarizationPipelineを用いてJava関数のドキュメントを生成する方法は以下の通りです。

from transformers import AutoTokenizer, AutoModelWithLMHead, SummarizationPipeline

pipeline = SummarizationPipeline(
    model=AutoModelWithLMHead.from_pretrained("SEBIS/code_trans_t5_large_code_documentation_generation_java_multitask"),
    tokenizer=AutoTokenizer.from_pretrained("SEBIS/code_trans_t5_large_code_documentation_generation_java_multitask", skip_special_tokens=True),
    device=0
)

tokenized_code = "public static < T , U > Function < T , U > castFunction  ( Class < U > target ) { return new CastToClass < T , U > ( target ) ; }"
pipeline([tokenized_code])

この例をcolabノートブックで実行してください。

📚 ドキュメント

学習データ

教師付き学習タスクのデータセットはこちらのリンクからダウンロードできます。

学習手順

マルチタスク事前学習

このモデルは、シーケンス長512（バッチサイズ4096）を使用して、単一のTPU Pod V3 - 8で合計180,000ステップ学習されました。総計で約220Mのパラメータを持ち、エンコーダ - デコーダアーキテクチャを使用して学習されました。事前学習には、逆平方根学習率スケジュールを持つAdaFactorオプティマイザが使用されました。

評価結果

コードドキュメントタスクにおいて、異なるモデルが異なるプログラミング言語で以下の結果（BLEUスコア）を達成しています。

Created by Ahmed Elnaggar | LinkedIn and Wei Ding | LinkedIn