Code Trans T5 Large Source Code Summarization Csharp Multitask

🚀 用於C#源代碼摘要生成的CodeTrans模型

本模型基於t5-large架構，在C#編程語言上進行預訓練，可用於生成C#函數的描述，為軟件開發提供便利。它首次發佈於 此倉庫，在標記化的C#代碼函數上進行訓練，處理標記化的C#函數時效果最佳。

🚀 快速開始

模型描述

此CodeTrans模型基於t5-large模型構建，擁有自己的SentencePiece詞彙模型。它在軟件開發領域的13個有監督任務和7個無監督數據集上進行了多任務訓練。

預期用途和限制

該模型可用於生成C#函數的描述，也可在其他C#代碼任務上進行微調。它可以處理未解析和未標記化的C#代碼，但如果C#代碼經過標記化處理，性能會更好。

如何使用

以下是使用Transformers的SummarizationPipeline來生成C#函數文檔的示例代碼：

from transformers import AutoTokenizer, AutoModelWithLMHead, SummarizationPipeline

pipeline = SummarizationPipeline(
    model=AutoModelWithLMHead.from_pretrained("SEBIS/code_trans_t5_large_source_code_summarization_csharp_multitask"),
    tokenizer=AutoTokenizer.from_pretrained("SEBIS/code_trans_t5_large_source_code_summarization_csharp_multitask", skip_special_tokens=True),
    device=0
)

tokenized_code = "public static DateTime ParseUnixDateTime ( double unixTime ) { var dt = new DateTime ( CODE_INTEGER , CODE_INTEGER , CODE_INTEGER , CODE_INTEGER , CODE_INTEGER , CODE_INTEGER , CODE_INTEGER , System . DateTimeKind . Utc ) ; dt = dt . AddSeconds ( unixTimeStamp ) . ToLocalTime ( ) ; return dt ; }"
pipeline([tokenized_code])

你可以在 Colab筆記本 中運行此示例。

📦 安裝指南

文檔未提及安裝相關內容，故跳過。

💻 使用示例

基礎用法

from transformers import AutoTokenizer, AutoModelWithLMHead, SummarizationPipeline

pipeline = SummarizationPipeline(
    model=AutoModelWithLMHead.from_pretrained("SEBIS/code_trans_t5_large_source_code_summarization_csharp_multitask"),
    tokenizer=AutoTokenizer.from_pretrained("SEBIS/code_trans_t5_large_source_code_summarization_csharp_multitask", skip_special_tokens=True),
    device=0
)

tokenized_code = "public static DateTime ParseUnixDateTime ( double unixTime ) { var dt = new DateTime ( CODE_INTEGER , CODE_INTEGER , CODE_INTEGER , CODE_INTEGER , CODE_INTEGER , CODE_INTEGER , CODE_INTEGER , System . DateTimeKind . Utc ) ; dt = dt . AddSeconds ( unixTimeStamp ) . ToLocalTime ( ) ; return dt ; }"
pipeline([tokenized_code])

📚 詳細文檔

訓練數據

有監督訓練任務的數據集可從 此處 下載。

訓練過程

多任務預訓練

該模型在單個TPU Pod V3 - 8上進行了總共120,000步的訓練，使用的序列長度為512（批量大小為4096）。它總共有約2.2億個參數，採用編碼器 - 解碼器架構進行訓練。預訓練使用的優化器是AdaFactor，並採用平方根倒數學習率調度。

評估結果

對於源代碼摘要生成任務，不同模型在不同編程語言上的評估結果（以BLEU分數衡量）如下：

🔧 技術細節

此CodeTrans模型基於t5-large模型，擁有獨立的SentencePiece詞彙模型。它在軟件開發領域的13個有監督任務和7個無監督數據集上進行多任務訓練。在訓練過程中，使用單個TPU Pod V3 - 8進行了120,000步的訓練，序列長度為512，批量大小為4096。模型總共有約2.2億個參數，採用編碼器 - 解碼器架構，預訓練使用AdaFactor優化器和平方根倒數學習率調度。

📄 許可證

文檔未提及許可證相關內容，故跳過。

由 Ahmed Elnaggar | LinkedIn 和 魏丁 | LinkedIn 創建