Code Trans T5 Base Source Code Summarization Python Multitask

🚀 ソースコード要約Python用CodeTransモデル

このモデルは、t5 baseモデルアーキテクチャを使用してPythonプログラミング言語で事前学習されたものです。最初はthisリポジトリで公開されました。このモデルはトークン化されたPythonコード関数で学習されており、トークン化されたPython関数で最も良い性能を発揮します。

🚀 クイックスタート

このモデルは、Python関数の説明を生成するために使用できます。以下に、このモデルを使用してPython関数のドキュメントを生成する方法を示します。

from transformers import AutoTokenizer, AutoModelWithLMHead, SummarizationPipeline

pipeline = SummarizationPipeline(
    model=AutoModelWithLMHead.from_pretrained("SEBIS/code_trans_t5_base_source_code_summarization_python_multitask"),
    tokenizer=AutoTokenizer.from_pretrained("SEBIS/code_trans_t5_base_source_code_summarization_python_multitask", skip_special_tokens=True),
    device=0
)

tokenized_code = '''with open ( CODE_STRING , CODE_STRING ) as in_file : buf = in_file . readlines ( )  with open ( CODE_STRING , CODE_STRING ) as out_file : for line in buf :          if line ==   " ; Include this text   " :              line = line +   " Include below  "          out_file . write ( line ) '''
pipeline([tokenized_code])

この例は、colabノートブックで実行できます。

✨ 主な機能

• このCodeTransモデルは、t5-baseモデルに基づいています。独自のSentencePiece語彙モデルを持っています。ソフトウェア開発ドメインの13の教師ありタスクと7つの教師なしデータセットでマルチタスク学習を行っています。
• このモデルは、Python関数の説明を生成するために使用できるか、他のPythonコードタスクで微調整することができます。解析されていない、トークン化されていないPythonコードでも使用できます。ただし、Pythonコードがトークン化されている場合、性能は向上するはずです。

📦 インストール

READMEにインストール手順に関する具体的な内容が記載されていないため、このセクションは省略されます。

💻 使用例

基本的な使用法

from transformers import AutoTokenizer, AutoModelWithLMHead, SummarizationPipeline

pipeline = SummarizationPipeline(
    model=AutoModelWithLMHead.from_pretrained("SEBIS/code_trans_t5_base_source_code_summarization_python_multitask"),
    tokenizer=AutoTokenizer.from_pretrained("SEBIS/code_trans_t5_base_source_code_summarization_python_multitask", skip_special_tokens=True),
    device=0
)

tokenized_code = '''with open ( CODE_STRING , CODE_STRING ) as in_file : buf = in_file . readlines ( )  with open ( CODE_STRING , CODE_STRING ) as out_file : for line in buf :          if line ==   " ; Include this text   " :              line = line +   " Include below  "          out_file . write ( line ) '''
pipeline([tokenized_code])

高度な使用法

READMEに高度な使用法に関する具体的な内容が記載されていないため、このサブセクションは省略されます。

📚 ドキュメント

モデルの説明

このCodeTransモデルは、t5-baseモデルに基づいています。独自のSentencePiece語彙モデルを持っています。ソフトウェア開発ドメインの13の教師ありタスクと7つの教師なしデータセットでマルチタスク学習を行っています。

想定される用途と制限

このモデルは、Python関数の説明を生成するために使用できるか、他のPythonコードタスクで微調整することができます。解析されていない、トークン化されていないPythonコードでも使用できます。ただし、Pythonコードがトークン化されている場合、性能は向上するはずです。

トレーニングデータ

教師ありトレーニングタスクのデータセットは、このリンクからダウンロードできます。

トレーニング手順

マルチタスク事前学習

このモデルは、単一のTPU Pod V3 - 8で合計260,000ステップ学習されました。シーケンス長は512（バッチサイズ4096）を使用しています。総計で約220Mのパラメータを持ち、エンコーダ - デコーダアーキテクチャを使用して学習されました。事前学習には、逆平方根学習率スケジュールを持つAdaFactorオプティマイザが使用されました。

評価結果

ソースコード要約タスクにおいて、異なるモデルが異なるプログラミング言語で次の結果（BLEUスコア）を達成しています。

🔧 技術詳細

READMEに技術詳細に関する具体的な内容が記載されていないため、このセクションは省略されます。

📄 ライセンス

READMEにライセンス情報に関する具体的な内容が記載されていないため、このセクションは省略されます。

Created by Ahmed Elnaggar | LinkedIn and Wei Ding | LinkedIn