Code Trans T5 Base Code Documentation Generation Python Multitask Finetune

🚀 CodeTransモデルによるPythonコードドキュメント生成

T5ベースモデルアーキテクチャを使用してPythonプログラミング言語で事前学習されたモデル。このモデルは、トークン化されたPythonコード関数でトレーニングされており、トークン化されたPython関数で最適に動作します。

🚀 クイックスタート

このCodeTransモデルは、このリポジトリで最初に公開されました。Pythonプログラミング言語に特化した事前学習済みモデルで、トークン化されたPythonコード関数に最適です。

✨ 主な機能

モデルの概要

このCodeTransモデルはt5-baseモデルに基づいており、独自のSentencePiece語彙モデルを持っています。ソフトウェア開発ドメインの13の教師ありタスクと7つの教師なしデータセットを用いたマルチタスクトレーニングを行い、その後Python関数/メソッドのコードドキュメント生成タスクでファインチューニングされています。

想定される用途と制限

このモデルはPython関数の説明を生成するために使用できるほか、他のPythonコードタスクでファインチューニングすることも可能です。解析されていない、トークン化されていないPythonコードでも使用できますが、トークン化されたPythonコードで使用するとパフォーマンスが向上します。

📦 インストール

このモデルを使用するには、必要なライブラリをインストールする必要があります。以下のコードを使用して、Transformersライブラリをインストールできます。

pip install transformers

💻 使用例

基本的な使用法

以下は、TransformersのSummarizationPipelineを使用してこのモデルを用いてPython関数のドキュメントを生成する方法です。

from transformers import AutoTokenizer, AutoModelWithLMHead, SummarizationPipeline

pipeline = SummarizationPipeline(
    model=AutoModelWithLMHead.from_pretrained("SEBIS/code_trans_t5_base_code_documentation_generation_python_multitask_finetune"),
    tokenizer=AutoTokenizer.from_pretrained("SEBIS/code_trans_t5_base_code_documentation_generation_python_multitask_finetune", skip_special_tokens=True),
    device=0
)

tokenized_code = "def e ( message , exit_code = None ) : print_log ( message , YELLOW , BOLD ) if exit_code is not None : sys . exit ( exit_code )"
pipeline([tokenized_code])

この例をcolabノートブックで実行できます。

📚 ドキュメント

トレーニングデータ

教師ありトレーニングタスクのデータセットは、このリンクからダウンロードできます。

トレーニング手順

マルチタスク事前学習

このモデルは、シーケンス長512（バッチサイズ4096）を使用して、単一のTPU Pod V3 - 8で合計50万ステップトレーニングされました。総計約2億2000万のパラメータを持ち、エンコーダ - デコーダアーキテクチャを使用してトレーニングされました。事前学習には、逆平方根学習率スケジュールのAdaFactorオプティマイザが使用されました。

ファインチューニング

その後、このモデルはシーケンス長512（バッチサイズ256）を使用して、単一のTPU Pod V2 - 8で合計4000ステップ、Pythonコードのみを含むデータセットでファインチューニングされました。

評価結果

コードドキュメントタスクにおいて、異なるモデルが異なるプログラミング言語で以下の結果（BLEUスコア）を達成しています。

Created by Ahmed Elnaggar | LinkedIn と Wei Ding | LinkedIn