Code Trans T5 Small Source Code Summarization Python Multitask Finetune

🚀 用於Python源代碼摘要的CodeTrans模型

本模型基於t5小模型架構，在Python編程語言上進行預訓練。它最初發佈於 此倉庫。該模型在經過分詞處理的Python代碼函數上進行訓練，因此在處理分詞後的Python函數時效果最佳。

🚀 快速開始

本CodeTrans模型基於 t5-small 模型構建，擁有自己的SentencePiece詞彙模型。它在軟件開發領域的13個有監督任務和7個無監督數據集上進行了多任務訓練，隨後在Python代碼片段的源代碼摘要任務上進行了微調。

✨ 主要特性

• 可用於生成Python函數的描述，或在其他Python代碼任務上進行微調。
• 能處理未解析和未分詞的Python代碼，但對分詞後的Python代碼處理效果更佳。

📦 安裝指南

文檔未提及安裝相關內容，故跳過。

💻 使用示例

基礎用法

以下是如何使用 Transformers 的 SummarizationPipeline 來生成Python函數文檔的示例：

from transformers import AutoTokenizer, AutoModelWithLMHead, SummarizationPipeline

pipeline = SummarizationPipeline(
    model=AutoModelWithLMHead.from_pretrained("SEBIS/code_trans_t5_small_source_code_summarization_python_multitask_finetune"),
    tokenizer=AutoTokenizer.from_pretrained("SEBIS/code_trans_t5_small_source_code_summarization_python_multitask_finetune", skip_special_tokens=True),
    device=0
)

tokenized_code = '''with open ( CODE_STRING , CODE_STRING ) as in_file : buf = in_file . readlines ( )  with open ( CODE_STRING , CODE_STRING ) as out_file : for line in buf :          if line ==   " ; Include this text   " :              line = line +   " Include below  "          out_file . write ( line ) '''
pipeline([tokenized_code])

你可以在 colab notebook 中運行此示例。

📚 詳細文檔

訓練數據

有監督訓練任務的數據集可從 此處 下載。

訓練過程

多任務預訓練

該模型在單個TPU Pod V3 - 8上總共訓練了500,000步，使用的序列長度為512（批量大小為4096）。它總共有約2.2億個參數，採用編碼器 - 解碼器架構進行訓練。預訓練使用的優化器是AdaFactor，學習率調度採用逆平方根策略。

微調

此模型隨後在單個TPU Pod V2 - 8上總共微調了600步，使用的序列長度為512（批量大小為256），僅使用包含Python代碼的數據集。

評估結果

對於源代碼摘要任務，不同模型在不同編程語言上取得了以下結果（以BLEU分數衡量）：

測試結果：

🔧 技術細節

本模型基於 t5-small 模型架構，使用SentencePiece詞彙模型。通過多任務預訓練和後續的微調，使其在Python源代碼摘要任務上表現良好。多任務預訓練在多個有監督和無監督數據集上進行，微調則專注於Python代碼數據集。訓練過程中使用了特定的優化器和學習率調度策略。

📄 許可證

文檔未提及許可證相關內容，故跳過。

由 Ahmed Elnaggar | LinkedIn 和 魏丁 | LinkedIn 創建