Code Trans T5 Base Code Documentation Generation Go

🚀 CodeTrans模型：用於Go代碼文檔生成

CodeTrans模型基於T5基礎架構，在Go編程語言上進行預訓練。它能為Go函數生成描述，也可在其他Go代碼任務上進行微調。該模型在CodeSearchNet語料庫的Go數據集上進行單任務訓練，對標記化的Go代碼函數效果最佳。

🚀 快速開始

模型簡介

此CodeTrans模型基於t5-base模型構建，擁有自己的SentencePiece詞彙模型。它在CodeSearchNet語料庫的Go數據集上進行單任務訓練。

預期用途與限制

該模型可用於生成Go函數的描述，或在其他Go代碼任務上進行微調。它可以處理未解析和未標記化的Go代碼，但如果代碼經過標記化處理，性能會更好。

使用方法

以下是使用Transformers的SummarizationPipeline來生成Go函數文檔的示例：

from transformers import AutoTokenizer, AutoModelWithLMHead, SummarizationPipeline

pipeline = SummarizationPipeline(
    model=AutoModelWithLMHead.from_pretrained("SEBIS/code_trans_t5_base_code_documentation_generation_go"),
    tokenizer=AutoTokenizer.from_pretrained("SEBIS/code_trans_t5_base_code_documentation_generation_go", skip_special_tokens=True),
    device=0
)

tokenized_code = "func ( pr * Progress ) needSnapshotAbort ( ) bool { return pr . State == ProgressStateSnapshot && pr . Match >= pr . PendingSnapshot   }"
pipeline([tokenized_code])

你可以在Colab筆記本中運行此示例。

📦 安裝指南

本部分未提及具體安裝步驟，暫不展示。

💻 使用示例

基礎用法

from transformers import AutoTokenizer, AutoModelWithLMHead, SummarizationPipeline

pipeline = SummarizationPipeline(
    model=AutoModelWithLMHead.from_pretrained("SEBIS/code_trans_t5_base_code_documentation_generation_go"),
    tokenizer=AutoTokenizer.from_pretrained("SEBIS/code_trans_t5_base_code_documentation_generation_go", skip_special_tokens=True),
    device=0
)

tokenized_code = "func ( pr * Progress ) needSnapshotAbort ( ) bool { return pr . State == ProgressStateSnapshot && pr . Match >= pr . PendingSnapshot   }"
pipeline([tokenized_code])

📚 詳細文檔

訓練數據

有監督訓練任務的數據集可以從這裡下載。

評估結果

對於代碼文檔任務，不同模型在不同編程語言上取得了以下結果（以BLEU分數衡量）：

📄 許可證

本部分未提及許可證信息，暫不展示。

由Ahmed Elnaggar | LinkedIn 和 Wei Ding | LinkedIn 創建