Code Trans T5 Small Code Documentation Generation Go Multitask Finetune

🚀 CodeTrans模型：用於Go代碼文檔生成

CodeTrans是一個基於t5-small架構的預訓練模型，專門針對Go編程語言進行訓練。它可以為Go函數生成文檔描述，在軟件開發領域有著廣泛的應用。該模型首次發佈於this repository。

🚀 快速開始

本模型基於t5-small架構，擁有自己的SentencePiece詞彙模型。它在軟件開發領域的13個監督任務和7個無監督數據集上進行了多任務訓練，然後針對Go函數/方法的代碼文檔生成任務進行了微調。

✨ 主要特性

• 多任務訓練：在多個軟件開發任務上進行訓練，提升模型的泛化能力。
• 微調優化：針對Go代碼文檔生成任務進行微調，提高特定任務的性能。
• 支持未解析和未分詞代碼：可以處理未解析和未分詞的Go代碼，若代碼經過分詞處理，性能更佳。

📦 安裝指南

使用此模型需要安裝transformers庫，你可以使用以下命令進行安裝：

pip install transformers

💻 使用示例

基礎用法

以下是使用Transformers SummarizationPipeline調用此模型生成Go函數文檔的示例代碼：

from transformers import AutoTokenizer, AutoModelWithLMHead, SummarizationPipeline

pipeline = SummarizationPipeline(
    model=AutoModelWithLMHead.from_pretrained("SEBIS/code_trans_t5_small_code_documentation_generation_go_multitask_finetune"),
    tokenizer=AutoTokenizer.from_pretrained("SEBIS/code_trans_t5_small_code_documentation_generation_go_multitask_finetune", skip_special_tokens=True),
    device=0
)

tokenized_code = "func ( pr * Progress ) needSnapshotAbort ( ) bool { return pr . State == ProgressStateSnapshot && pr . Match >= pr . PendingSnapshot   }"
pipeline([tokenized_code])

你可以在colab notebook中運行此示例。

📚 詳細文檔

訓練數據

有監督訓練任務的數據集可以從Link下載。

訓練過程

多任務預訓練

模型在單個TPU Pod V3 - 8上進行了總共50萬步的訓練，使用序列長度為512（批量大小為4096）。它總共有大約2.2億個參數，採用編碼器 - 解碼器架構進行訓練。預訓練使用的優化器是AdaFactor，學習率採用逆平方根調度。

微調

此模型隨後在單個TPU Pod V2 - 8上進行了2000步的微調，使用序列長度為512（批量大小為256），僅使用包含Go代碼的數據集。

評估結果

在代碼文檔生成任務中，不同模型在不同編程語言上的BLEU得分如下：

🔧 技術細節

本模型基於t5-small架構，使用SentencePiece進行分詞處理。在多任務訓練階段，模型學習了多個軟件開發任務的特徵，提升了泛化能力。在微調階段，針對Go代碼文檔生成任務進行優化，使得模型在該特定任務上表現更優。

📄 許可證

文檔中未提及許可證相關信息。

本項目由 Ahmed Elnaggar | LinkedIn 和 Wei Ding | LinkedIn 創建。