Code Trans T5 Base Code Documentation Generation Python

🚀 CodeTransモデル（Pythonコードドキュメント生成用）

このモデルは、t5 baseモデルアーキテクチャを使用してPythonプログラミング言語で事前学習されたものです。最初はthis repositoryで公開されました。このモデルはトークン化されたPythonコード関数で学習されており、トークン化されたPython関数で最も良い性能を発揮します。

✨ 主な機能

📚 モデルの説明

このCodeTransモデルはt5-baseモデルに基づいています。独自のSentencePiece語彙モデルを持ち、CodeSearchNet CorpusのPythonデータセットを用いた単一タスク学習を行っています。

🎯 想定される用途と制限

このモデルはPython関数の説明を生成するために使用できるか、他のPythonコードタスクで微調整することもできます。解析されていない、トークン化されていないPythonコードにも使用できますが、Pythonコードがトークン化されている場合、性能は向上するはずです。

📦 インストール

このセクションではインストール手順に関する具体的な内容がありませんので、スキップします。

💻 使用例

基本的な使用法

これは、Transformers SummarizationPipelineを使用してこのモデルを使ってPython関数のドキュメントを生成する方法です。

from transformers import AutoTokenizer, AutoModelWithLMHead, SummarizationPipeline

pipeline = SummarizationPipeline(
    model=AutoModelWithLMHead.from_pretrained("SEBIS/code_trans_t5_base_code_documentation_generation_python"),
    tokenizer=AutoTokenizer.from_pretrained("SEBIS/code_trans_t5_base_code_documentation_generation_python", skip_special_tokens=True),
    device=0
)

tokenized_code = "def e ( message , exit_code = None ) : print_log ( message , YELLOW , BOLD ) if exit_code is not None : sys . exit ( exit_code )"
pipeline([tokenized_code])

この例をcolab notebookで実行してください。

📚 詳細ドキュメント

学習データ

教師あり学習タスクのデータセットはLinkからダウンロードできます。

評価結果

コードドキュメントタスクにおいて、異なるモデルが異なるプログラミング言語で次のような結果（BLEUスコア）を達成しています。

📄 ライセンス

このセクションではライセンスに関する具体的な内容がありませんので、スキップします。

Created by Ahmed Elnaggar | LinkedIn and Wei Ding | LinkedIn