Code Trans T5 Base Source Code Summarization Python Multitask

🚀 CodeTrans模型用於Python源代碼摘要生成

本項目是一個基於t5-base架構，針對Python編程語言進行預訓練的模型，可用於生成Python代碼的描述摘要。它首次發佈於 此倉庫，在經過標記化處理的Python代碼函數上進行訓練，因此在處理這類數據時能發揮最佳性能。

✨ 主要特性

• 基於t5-base模型架構，擁有自己的SentencePiece詞彙模型。
• 採用多任務訓練，涵蓋軟件開發領域的13個監督任務和7個無監督數據集。
• 可用於生成Python函數的描述，也能在其他Python代碼任務上進行微調。
• 能處理未解析和未標記化的Python代碼，但對標記化代碼的處理效果更佳。

📦 安裝指南

文檔未提及具體安裝步驟，可參考原倉庫 CodeTrans 獲取安裝相關信息。

💻 使用示例

基礎用法

以下是使用Transformers的SummarizationPipeline調用此模型生成Python函數文檔的示例代碼：

from transformers import AutoTokenizer, AutoModelWithLMHead, SummarizationPipeline

pipeline = SummarizationPipeline(
    model=AutoModelWithLMHead.from_pretrained("SEBIS/code_trans_t5_base_source_code_summarization_python_multitask"),
    tokenizer=AutoTokenizer.from_pretrained("SEBIS/code_trans_t5_base_source_code_summarization_python_multitask", skip_special_tokens=True),
    device=0
)

tokenized_code = '''with open ( CODE_STRING , CODE_STRING ) as in_file : buf = in_file . readlines ( )  with open ( CODE_STRING , CODE_STRING ) as out_file : for line in buf :          if line ==   " ; Include this text   " :              line = line +   " Include below  "          out_file . write ( line ) '''
pipeline([tokenized_code])

你可以在 colab notebook 中運行該示例。

📚 詳細文檔

模型描述

此CodeTrans模型基於t5-base模型構建，擁有自己的SentencePiece詞彙模型。它在軟件開發領域的13個監督任務和7個無監督數據集上進行了多任務訓練。

預期用途和限制

該模型可用於生成Python函數的描述，也可在其他Python代碼任務上進行微調。它能處理未解析和未標記化的Python代碼，但如果代碼經過標記化處理，模型性能會更好。

訓練數據

有監督訓練任務的數據集可從 此處 下載。

訓練過程

多任務預訓練

模型在單個TPU Pod V3 - 8上總共訓練了260,000步，使用序列長度為512（批量大小為4096）。模型總共約有2.2億個參數，採用編碼器 - 解碼器架構進行訓練。預訓練使用的優化器是AdaFactor，並採用平方根倒數學習率調度。

評估結果

在源代碼摘要生成任務中，不同模型在不同編程語言上取得了以下BLEU分數：

由 Ahmed Elnaggar | LinkedIn 和 Wei Ding | LinkedIn 創建