Code Trans T5 Large Code Documentation Generation Python Multitask

🚀 CodeTransモデルによるPythonコードドキュメント生成

このモデルは、T5 Largeモデルアーキテクチャを使用してPythonプログラミング言語で事前学習されたものです。初めて このリポジトリ で公開されました。このモデルはトークン化されたPythonコード関数で学習されており、トークン化されたPython関数で最も良い性能を発揮します。

✨ 主な機能

モデルの説明

このCodeTransモデルは t5-large モデルをベースにしています。独自のSentencePiece語彙モデルを持っています。ソフトウェア開発領域の13の教師付きタスクと7つの教師なしデータセットを用いたマルチタスク学習が行われています。

想定される用途と制限

このモデルは、Python関数の説明を生成するために使用することができます。また、他のPythonコードタスクで微調整することも可能です。解析されていない、トークン化されていないPythonコードでも使用できますが、Pythonコードがトークン化されている場合、性能は向上するはずです。

📦 インストール

このセクションでは明示的なインストール手順が記載されていないため、スキップします。

💻 使用例

基本的な使用法

from transformers import AutoTokenizer, AutoModelWithLMHead, SummarizationPipeline

pipeline = SummarizationPipeline(
    model=AutoModelWithLMHead.from_pretrained("SEBIS/code_trans_t5_large_code_documentation_generation_python_multitask"),
    tokenizer=AutoTokenizer.from_pretrained("SEBIS/code_trans_t5_large_code_documentation_generation_python_multitask", skip_special_tokens=True),
    device=0
)

tokenized_code = "def e ( message , exit_code = None ) : print_log ( message , YELLOW , BOLD ) if exit_code is not None : sys . exit ( exit_code )"
pipeline([tokenized_code])

この例は colab notebook で実行できます。

📚 ドキュメント

訓練データ

教師付き学習タスクのデータセットは このリンク からダウンロードできます。

訓練手順

マルチタスク事前学習

このモデルは、シーケンス長512（バッチサイズ4096）で、合計80,000ステップ、単一のTPU Pod V3 - 8で学習されました。総計で約220Mのパラメータを持ち、エンコーダ - デコーダアーキテクチャを使用して学習されました。最適化アルゴリズムには、事前学習用の逆平方根学習率スケジュールを持つAdaFactorが使用されています。

評価結果

コードドキュメントタスクにおいて、異なるモデルが異なるプログラミング言語で次のような結果（BLEUスコア）を達成しています。

作成者: Ahmed Elnaggar | LinkedIn と Wei Ding | LinkedIn