Code Trans T5 Large Source Code Summarization Python Transfer Learning Finetune

🚀 ソースコード要約Python用CodeTransモデル

このモデルは、t5 largeモデルアーキテクチャを使用してPythonプログラミング言語で事前学習されたものです。最初は このリポジトリ で公開されました。このモデルはトークン化されたPythonコード関数で学習されており、トークン化されたPython関数で最適な性能を発揮します。

✨ 主な機能

📚 モデルの説明

このCodeTransモデルは t5-large モデルに基づいています。独自のSentencePiece語彙モデルを持ち、ソフトウェア開発ドメインの7つの教師なしデータセットで転移学習の事前学習を行っています。その後、Pythonコードスニペットのソースコード要約タスクでファインチューニングされています。

📋 想定される用途と制限

このモデルは、Python関数の説明を生成するために使用したり、他のPythonコードタスクでファインチューニングすることができます。解析されていない、トークン化されていないPythonコードでも使用できますが、Pythonコードがトークン化されている場合、性能は向上します。

💻 使用例

基本的な使用法

以下は、TransformersのSummarizationPipelineを使用してこのモデルをPython関数のドキュメント生成に使用する方法です。

from transformers import AutoTokenizer, AutoModelWithLMHead, SummarizationPipeline

pipeline = SummarizationPipeline(
    model=AutoModelWithLMHead.from_pretrained("SEBIS/code_trans_t5_large_source_code_summarization_python_transfer_learning_finetune"),
    tokenizer=AutoTokenizer.from_pretrained("SEBIS/code_trans_t5_large_source_code_summarization_python_transfer_learning_finetune", skip_special_tokens=True),
    device=0
)

tokenized_code =  '''with open ( CODE_STRING , CODE_STRING ) as in_file : buf = in_file . readlines ( )  with open ( CODE_STRING , CODE_STRING ) as out_file : for line in buf :          if line ==   " ; Include this text   " :              line = line +   " Include below  "          out_file . write ( line ) '''
pipeline([tokenized_code])

この例は colab notebook で実行できます。

📦 インストール

このモデルを使用するために必要なライブラリのインストール方法は、コード例に含まれる transformers ライブラリをインストールすることです。以下のコマンドでインストールできます。

pip install transformers

🔧 技術詳細

学習データ

教師あり学習タスクのデータセットは このリンク からダウンロードできます。

学習手順

転移学習の事前学習

このモデルは、シーケンス長512（バッチサイズ4096）を使用して、合計240,000ステップ、単一のTPU Pod V3 - 8で学習されました。総計で約220Mのパラメータを持ち、エンコーダ - デコーダアーキテクチャを使用して学習されました。事前学習にはAdaFactorオプティマイザーと逆平方根学習率スケジュールが使用されました。

ファインチューニング

このモデルは、シーケンス長512（バッチサイズ256）を使用して、合計100ステップ、単一のTPU Pod V2 - 8でファインチューニングされました。Pythonコードのみを含むデータセットのみを使用しています。

📊 評価結果

ソースコード要約タスクにおいて、異なるモデルが異なるプログラミング言語で次のような結果（BLEUスコア）を達成しています。

テスト結果:

Created by Ahmed Elnaggar | LinkedIn と Wei Ding | LinkedIn