Code Trans T5 Large Source Code Summarization Python Multitask Finetune

🚀 CodeTransモデルによるPythonソースコード要約

このモデルは、t5 largeモデルアーキテクチャを使用してPythonプログラミング言語で事前学習されたものです。最初はthisリポジトリで公開されました。このモデルは、トークン化されたPythonコード関数で学習されており、トークン化されたPython関数で最も良い性能を発揮します。

🚀 クイックスタート

このセクションでは、CodeTransモデルを使用してPythonコードの要約を行う基本的な手順を説明します。

✨ 主な機能

• トークン化されたPythonコード関数に対する要約機能。
• 未解析・未トークン化のPythonコードにも使用可能。
• 他のPythonコードタスクに対するファインチューニングが可能。

📦 インストール

このモデルを使用するには、transformersライブラリが必要です。以下のコマンドでインストールできます。

pip install transformers

💻 使用例

基本的な使用法

from transformers import AutoTokenizer, AutoModelWithLMHead, SummarizationPipeline

pipeline = SummarizationPipeline(
    model=AutoModelWithLMHead.from_pretrained("SEBIS/code_trans_t5_large_source_code_summarization_python_multitask_finetune"),
    tokenizer=AutoTokenizer.from_pretrained("SEBIS/code_trans_t5_large_source_code_summarization_python_multitask_finetune", skip_special_tokens=True),
    device=0
)

tokenized_code = '''with open ( CODE_STRING , CODE_STRING ) as in_file : buf = in_file . readlines ( )  with open ( CODE_STRING , CODE_STRING ) as out_file : for line in buf :          if line ==   " ; Include this text   " :              line = line +   " Include below  "          out_file . write ( line ) '''
pipeline([tokenized_code])

この例はcolab notebookで実行できます。

📚 ドキュメント

モデルの説明

このCodeTransモデルは、t5-largeモデルに基づいています。独自のSentencePiece語彙モデルを持っています。ソフトウェア開発ドメインの13の教師付きタスクと7つの教師なしデータセットを使用したマルチタスク学習を行い、その後Pythonコードスニペットのソースコード要約タスクでファインチューニングされています。

想定される用途と制限

このモデルは、Python関数の説明を生成するために使用することができ、また他のPythonコードタスクでファインチューニングすることもできます。未解析・未トークン化のPythonコードにも使用できますが、Pythonコードがトークン化されている場合、性能が向上するはずです。

トレーニングデータ

教師付きトレーニングタスクのデータセットはこちらからダウンロードできます。

トレーニング手順

マルチタスク事前学習

このモデルは、シーケンス長512（バッチサイズ4096）で、合計500,000ステップ、単一のTPU Pod V3 - 8で学習されました。総計約220Mのパラメータを持ち、エンコーダ - デコーダアーキテクチャを使用して学習されました。事前学習には、逆平方根学習率スケジュールを持つAdaFactorオプティマイザが使用されました。

ファインチューニング

このモデルは、その後、シーケンス長512（バッチサイズ256）で、合計100ステップ、単一のTPU Pod V2 - 8で、Pythonコードのみを含むデータセットを使用してファインチューニングされました。

評価結果

ソースコード要約タスクにおいて、異なるモデルが異なるプログラミング言語で以下の結果（BLEUスコア）を達成しています。

📄 ライセンス

このモデルに関するライセンス情報は、このリポジトリを参照してください。

Created by Ahmed Elnaggar | LinkedIn and Wei Ding | LinkedIn