Code Trans T5 Base Code Documentation Generation Go Multitask Finetune

🚀 CodeTransモデル（Goコードドキュメント生成用）

このモデルは、T5ベースモデルアーキテクチャを使用してGoプログラミング言語で事前学習されたものです。最初はthis repositoryで公開されました。このモデルはトークン化されたGoコード関数で学習されており、トークン化されたGo関数で最適な性能を発揮します。

✨ 主な機能

モデルの説明

このCodeTransモデルはt5-baseモデルに基づいています。独自のSentencePiece語彙モデルを持っています。ソフトウェア開発分野の13の教師ありタスクと7つの教師なしデータセットでマルチタスク学習を行い、その後、Go関数/メソッドのコードドキュメント生成タスクでファインチューニングされています。

想定される用途と制限

このモデルは、Go関数の説明を生成するために使用することができ、また他のGoコードタスクでファインチューニングすることもできます。構文解析されていない、トークン化されていないGoコードでも使用できますが、Goコードがトークン化されている場合、性能は向上するはずです。

📦 インストール

このセクションではインストールに関する具体的な内容がありませんでしたので、スキップします。

💻 使用例

基本的な使用法

from transformers import AutoTokenizer, AutoModelWithLMHead, SummarizationPipeline

pipeline = SummarizationPipeline(
    model=AutoModelWithLMHead.from_pretrained("SEBIS/code_trans_t5_base_code_documentation_generation_go_multitask_finetune"),
    tokenizer=AutoTokenizer.from_pretrained("SEBIS/code_trans_t5_base_code_documentation_generation_go_multitask_finetune", skip_special_tokens=True),
    device=0
)

tokenized_code = "func ( pr * Progress ) needSnapshotAbort ( ) bool { return pr . State == ProgressStateSnapshot && pr . Match >= pr . PendingSnapshot   }"
pipeline([tokenized_code])

この例はcolab notebookで実行できます。

📚 ドキュメント

訓練データ

教師あり学習タスクのデータセットはLinkからダウンロードできます。

訓練手順

マルチタスク事前学習

このモデルは、単一のTPU Pod V3 - 8で合計50万ステップ、シーケンス長512（バッチサイズ4096）を使用して学習されました。合計で約2億2000万のパラメータを持ち、エンコーダ - デコーダアーキテクチャを使用して学習されました。事前学習には、逆平方根学習率スケジュールを持つAdaFactorオプティマイザが使用されました。

ファインチューニング

このモデルは、その後、単一のTPU Pod V2 - 8で合計2000ステップ、シーケンス長512（バッチサイズ256）を使用し、Goコードのみを含むデータセットを使用してファインチューニングされました。

評価結果

コードドキュメントタスクにおいて、異なるモデルが異なるプログラミング言語で次の結果（BLEUスコア）を達成しています。

テスト結果 :

🔧 技術詳細

このセクションでは技術的な詳細に関する具体的な内容がありませんでしたので、スキップします。

📄 ライセンス

このセクションではライセンスに関する具体的な内容がありませんでしたので、スキップします。

Created by Ahmed Elnaggar | LinkedIn and Wei Ding | LinkedIn