Code Trans T5 Small Code Documentation Generation Go Multitask

🚀 CodeTrans模型：用於Go代碼文檔生成

CodeTrans是一個基於t5-small架構的預訓練模型，專門針對Go編程語言進行訓練，可用於生成Go函數的文檔描述。該模型首次發佈於 此倉庫，在經過標記化處理的Go代碼函數上進行訓練，因此在處理標記化的Go函數時表現最佳。

🚀 快速開始

本模型可用於生成Go函數的描述，也可在其他Go代碼任務上進行微調。它可以處理未解析和未標記化的Go代碼，但如果代碼經過標記化處理，性能會更好。

以下是使用Transformers的SummarizationPipeline來生成Go函數文檔的示例代碼：

from transformers import AutoTokenizer, AutoModelWithLMHead, SummarizationPipeline

pipeline = SummarizationPipeline(
    model=AutoModelWithLMHead.from_pretrained("SEBIS/code_trans_t5_small_code_documentation_generation_go_multitask"),
    tokenizer=AutoTokenizer.from_pretrained("SEBIS/code_trans_t5_small_code_documentation_generation_go_multitask", skip_special_tokens=True),
    device=0
)

tokenized_code = "func ( pr * Progress ) needSnapshotAbort ( ) bool { return pr . State == ProgressStateSnapshot && pr . Match >= pr . PendingSnapshot   }"
pipeline([tokenized_code])

你可以在 Colab筆記本 中運行此示例。

✨ 主要特性

• 基於t5-small架構：擁有自己的SentencePiece詞彙模型。
• 多任務訓練：在軟件開發領域的13個監督任務和7個無監督數據集上進行多任務訓練。
• 廣泛適用性：可用於生成Go函數描述，也可在其他Go代碼任務上進行微調。

📦 安裝指南

文檔未提及具體安裝步驟，可參考相關依賴庫的官方文檔進行安裝。

💻 使用示例

基礎用法

from transformers import AutoTokenizer, AutoModelWithLMHead, SummarizationPipeline

pipeline = SummarizationPipeline(
    model=AutoModelWithLMHead.from_pretrained("SEBIS/code_trans_t5_small_code_documentation_generation_go_multitask"),
    tokenizer=AutoTokenizer.from_pretrained("SEBIS/code_trans_t5_small_code_documentation_generation_go_multitask", skip_special_tokens=True),
    device=0
)

tokenized_code = "func ( pr * Progress ) needSnapshotAbort ( ) bool { return pr . State == ProgressStateSnapshot && pr . Match >= pr . PendingSnapshot   }"
pipeline([tokenized_code])

📚 詳細文檔

模型描述

本CodeTrans模型基於t5-small模型，擁有自己的SentencePiece詞彙模型。它在軟件開發領域的13個監督任務和7個無監督數據集上進行了多任務訓練。

預期用途和限制

該模型可用於生成Go函數的描述，或在其他Go代碼任務上進行微調。它可以處理未解析和未標記化的Go代碼，但如果代碼經過標記化處理，性能會更好。

訓練數據

有監督訓練任務的數據集可從 此處 下載。

訓練過程

多任務預訓練

該模型在單個TPU Pod V3 - 8上進行了總共340,000步的訓練，使用的序列長度為512（批量大小為4096）。它總共有約2.2億個參數，採用編碼器 - 解碼器架構進行訓練。預訓練時使用的優化器是AdaFactor，並採用了平方根倒數學習率調度。

🔧 技術細節

本模型在代碼文檔生成任務上，不同模型在不同編程語言上取得了以下BLEU分數結果：

📄 許可證

文檔未提及許可證相關信息。

由 Ahmed Elnaggar | LinkedIn 和 Wei Ding | LinkedIn 創建