Code Trans T5 Large Source Code Summarization Python Transfer Learning Finetune

🚀 CodeTrans模型用於Python源代碼摘要生成

CodeTrans模型基於t5-large架構，在Python編程語言上進行了預訓練，可用於生成Python函數的描述，也能在其他Python代碼任務上進行微調。該模型首次發佈於this repository，在標記化的Python代碼函數上進行訓練，因此在處理標記化的Python函數時效果最佳。

🚀 快速開始

模型使用示例

以下是如何使用Transformers的SummarizationPipeline來生成Python函數文檔的示例：

from transformers import AutoTokenizer, AutoModelWithLMHead, SummarizationPipeline

pipeline = SummarizationPipeline(
    model=AutoModelWithLMHead.from_pretrained("SEBIS/code_trans_t5_large_source_code_summarization_python_transfer_learning_finetune"),
    tokenizer=AutoTokenizer.from_pretrained("SEBIS/code_trans_t5_large_source_code_summarization_python_transfer_learning_finetune", skip_special_tokens=True),
    device=0
)

tokenized_code =  '''with open ( CODE_STRING , CODE_STRING ) as in_file : buf = in_file . readlines ( )  with open ( CODE_STRING , CODE_STRING ) as out_file : for line in buf :          if line ==   " ; Include this text   " :              line = line +   " Include below  "          out_file . write ( line ) '''
pipeline([tokenized_code])

你可以在colab notebook中運行此示例。

✨ 主要特性

• 架構基礎：基於t5-large模型構建，擁有自己的SentencePiece詞彙模型。
• 預訓練：在軟件開發領域的7個無監督數據集上進行了遷移學習預訓練。
• 微調：針對Python代碼片段的源代碼摘要生成任務進行了微調。
• 靈活性：可以處理未解析和未標記化的Python代碼，不過處理標記化的代碼時性能更佳。

📦 安裝指南

文檔未提供具體安裝步驟，暫不展示。

💻 使用示例

基礎用法

from transformers import AutoTokenizer, AutoModelWithLMHead, SummarizationPipeline

pipeline = SummarizationPipeline(
    model=AutoModelWithLMHead.from_pretrained("SEBIS/code_trans_t5_large_source_code_summarization_python_transfer_learning_finetune"),
    tokenizer=AutoTokenizer.from_pretrained("SEBIS/code_trans_t5_large_source_code_summarization_python_transfer_learning_finetune", skip_special_tokens=True),
    device=0
)

tokenized_code =  '''with open ( CODE_STRING , CODE_STRING ) as in_file : buf = in_file . readlines ( )  with open ( CODE_STRING , CODE_STRING ) as out_file : for line in buf :          if line ==   " ; Include this text   " :              line = line +   " Include below  "          out_file . write ( line ) '''
pipeline([tokenized_code])

高級用法

文檔未提供高級用法示例，暫不展示。

📚 詳細文檔

模型描述

此CodeTrans模型基於t5-large模型，擁有自己的SentencePiece詞彙模型。它在軟件開發領域的7個無監督數據集上進行了遷移學習預訓練，然後針對Python代碼片段的源代碼摘要生成任務進行了微調。

預期用途和限制

該模型可用於生成Python函數的描述，也能在其他Python代碼任務上進行微調。它可以處理未解析和未標記化的Python代碼，但處理標記化的代碼時性能更佳。

訓練數據

有監督訓練任務的數據集可從Link下載。

訓練過程

遷移學習預訓練

模型在單個TPU Pod V3 - 8上總共訓練了240,000步，使用序列長度為512（批量大小為4096）。它總共有約2.2億個參數，採用編碼器 - 解碼器架構進行訓練。預訓練使用的優化器是AdaFactor，學習率採用逆平方根調度。

微調

該模型隨後在單個TPU Pod V2 - 8上針對僅包含Python代碼的數據集進行了100步的微調，使用序列長度為512（批量大小為256）。

評估結果

對於源代碼摘要生成任務，不同模型在不同編程語言上取得了以下BLEU分數結果：

🔧 技術細節

模型架構

基於t5-large模型架構，採用編碼器 - 解碼器結構。

訓練優化

預訓練使用AdaFactor優化器，學習率採用逆平方根調度。

📄 許可證

文檔未提供許可證信息，暫不展示。

此模型由Ahmed Elnaggar | LinkedIn 和 Wei Ding | LinkedIn創建。