Code Trans T5 Large Source Code Summarization Csharp Multitask

🚀 コード要約用CodeTransモデル（C#）

このモデルは、T5 Largeモデルアーキテクチャを使用して、C#プログラミング言語で事前学習されたものです。最初はthis repositoryで公開されました。このモデルはトークン化されたC#コード関数で学習されており、トークン化されたC#関数で最も良い性能を発揮します。

✨ 主な機能

モデルの説明

このCodeTransモデルはt5-largeモデルをベースにしています。独自のSentencePiece語彙モデルを持っています。ソフトウェア開発ドメインの13の教師ありタスクと7つの教師なしデータセットを用いたマルチタスク学習が行われています。

想定される用途と制限

このモデルは、C#関数の説明を生成するために使用することができます。また、他のC#コードタスクで微調整することもできます。解析されていない、トークン化されていないC#コードでも使用できますが、C#コードがトークン化されている場合、性能は向上するはずです。

📦 インストール

このセクションでは、インストールに関する具体的なコマンドが原READMEに記載されていないため、省略します。

💻 使用例

基本的な使用法

これは、TransformersのSummarizationPipelineを使用して、このモデルを使ってC#関数のドキュメントを生成する方法です。

from transformers import AutoTokenizer, AutoModelWithLMHead, SummarizationPipeline

pipeline = SummarizationPipeline(
    model=AutoModelWithLMHead.from_pretrained("SEBIS/code_trans_t5_large_source_code_summarization_csharp_multitask"),
    tokenizer=AutoTokenizer.from_pretrained("SEBIS/code_trans_t5_large_source_code_summarization_csharp_multitask", skip_special_tokens=True),
    device=0
)

tokenized_code = "public static DateTime ParseUnixDateTime ( double unixTime ) { var dt = new DateTime ( CODE_INTEGER , CODE_INTEGER , CODE_INTEGER , CODE_INTEGER , CODE_INTEGER , CODE_INTEGER , CODE_INTEGER , System . DateTimeKind . Utc ) ; dt = dt . AddSeconds ( unixTimeStamp ) . ToLocalTime ( ) ; return dt ; }"
pipeline([tokenized_code])

この例は、colab notebookで実行できます。

📚 ドキュメント

学習データ

教師あり学習タスクのデータセットは、Linkからダウンロードできます。

学習手順

マルチタスク事前学習

このモデルは、シーケンス長512（バッチサイズ4096）を使用して、合計120,000ステップ、単一のTPU Pod V3 - 8で学習されました。約220Mのパラメータを持ち、エンコーダ - デコーダアーキテクチャを使用して学習されました。事前学習には、逆平方根学習率スケジュールを持つAdaFactorオプティマイザが使用されました。

評価結果

ソースコード要約タスクにおいて、異なるモデルが異なるプログラミング言語で次の結果（BLEUスコア）を達成しています。

テスト結果 :

🔧 技術詳細

このセクションでは、原READMEに十分な技術的な詳細が記載されていないため、省略します。

📄 ライセンス

原READMEにライセンス情報が記載されていないため、このセクションは省略します。

Created by Ahmed Elnaggar | LinkedIn and Wei Ding | LinkedIn