Code Trans T5 Base Code Documentation Generation Python Multitask Finetune

🚀 CodeTrans模型用於Python代碼文檔生成

本模型基於t5-base架構，在Python編程語言上進行預訓練，可用於生成Python函數的描述文檔。它首次發佈於 此倉庫，在經過分詞處理的Python代碼函數上進行訓練，因此在處理這類輸入時表現最佳。

🚀 快速開始

本部分將介紹如何使用該模型生成Python函數的文檔。

示例代碼

from transformers import AutoTokenizer, AutoModelWithLMHead, SummarizationPipeline

pipeline = SummarizationPipeline(
    model=AutoModelWithLMHead.from_pretrained("SEBIS/code_trans_t5_base_code_documentation_generation_python_multitask_finetune"),
    tokenizer=AutoTokenizer.from_pretrained("SEBIS/code_trans_t5_base_code_documentation_generation_python_multitask_finetune", skip_special_tokens=True),
    device=0
)

tokenized_code = "def e ( message , exit_code = None ) : print_log ( message , YELLOW , BOLD ) if exit_code is not None : sys . exit ( exit_code )"
pipeline([tokenized_code])

你可以在 Colab筆記本 中運行此示例。

✨ 主要特性

• 基於t5-base模型：擁有自己的SentencePiece詞彙模型。
• 多任務訓練：在軟件開發領域的13個監督任務和7個無監督數據集上進行多任務訓練，然後針對Python函數/方法的代碼文檔生成任務進行微調。
• 靈活適用：可用於生成Python函數的描述，也可在其他Python代碼任務上進行微調，並且可以處理未解析和未分詞的Python代碼，但對分詞後的代碼處理效果更佳。

📦 安裝指南

文檔中未提及具體安裝步驟，暫不提供。

💻 使用示例

基礎用法

from transformers import AutoTokenizer, AutoModelWithLMHead, SummarizationPipeline

pipeline = SummarizationPipeline(
    model=AutoModelWithLMHead.from_pretrained("SEBIS/code_trans_t5_base_code_documentation_generation_python_multitask_finetune"),
    tokenizer=AutoTokenizer.from_pretrained("SEBIS/code_trans_t5_base_code_documentation_generation_python_multitask_finetune", skip_special_tokens=True),
    device=0
)

tokenized_code = "def e ( message , exit_code = None ) : print_log ( message , YELLOW , BOLD ) if exit_code is not None : sys . exit ( exit_code )"
pipeline([tokenized_code])

📚 詳細文檔

模型描述

此CodeTrans模型基於t5-base模型構建，有自己的SentencePiece詞彙模型。它在軟件開發領域的13個監督任務和7個無監督數據集上進行多任務訓練，之後針對Python函數/方法的代碼文檔生成任務進行微調。

預期用途和限制

該模型可用於生成Python函數的描述，或在其他Python代碼任務上進行微調。它可以處理未解析和未分詞的Python代碼，但如果代碼經過分詞處理，性能會更好。

🔧 技術細節

訓練數據

有監督訓練任務的數據集可從 此處 下載。

訓練過程

多任務預訓練

模型在單個TPU Pod V3 - 8上總共訓練了50萬步，使用序列長度為512（批量大小為4096）。它總共有約2.2億個參數，採用編碼器 - 解碼器架構進行訓練。預訓練使用的優化器是AdaFactor，採用逆平方根學習率調度。

微調

該模型隨後在單個TPU Pod V2 - 8上總共微調了4000步，使用序列長度為512（批量大小為256），僅使用包含Python代碼的數據集。

評估結果

對於代碼文檔任務，不同模型在不同編程語言上的測試結果（以BLEU分數衡量）如下：

📄 許可證

文檔中未提及許可證信息，暫不提供。

由 Ahmed Elnaggar | LinkedIn 和 Wei Ding | LinkedIn 創建。