Code Trans T5 Base Code Documentation Generation Go Multitask Finetune

🚀 CodeTrans模型：用于Go代码文档生成

CodeTrans是一个基于t5-base架构的预训练模型，专门针对Go编程语言进行了优化。它能够为Go函数生成详细的文档描述，在代码文档生成任务中表现出色。该模型首次发布于 此仓库 ，并且在经过多任务训练和微调后，对Go代码的处理更加精准高效。

🚀 快速开始

本模型是基于t5-base架构在Go编程语言上进行预训练的。它首次发布于 此仓库 。该模型在经过分词处理的Go代码函数上进行训练，因此在处理分词后的Go函数时效果最佳。

✨ 主要特性

• 架构基础：基于t5-base模型构建，拥有自己的SentencePiece词汇模型。
• 多任务训练：在软件开发领域的13个有监督任务和7个无监督数据集上进行多任务训练。
• 微调优化：针对Go函数/方法的代码文档生成任务进行了微调。

📦 安装指南

暂未提及具体安装步骤，可参考模型仓库中的相关说明进行安装。

💻 使用示例

基础用法

以下是如何使用Transformers库中的SummarizationPipeline来生成Go函数文档的示例代码：

from transformers import AutoTokenizer, AutoModelWithLMHead, SummarizationPipeline

pipeline = SummarizationPipeline(
    model=AutoModelWithLMHead.from_pretrained("SEBIS/code_trans_t5_base_code_documentation_generation_go_multitask_finetune"),
    tokenizer=AutoTokenizer.from_pretrained("SEBIS/code_trans_t5_base_code_documentation_generation_go_multitask_finetune", skip_special_tokens=True),
    device=0
)

tokenized_code = "func ( pr * Progress ) needSnapshotAbort ( ) bool { return pr . State == ProgressStateSnapshot && pr . Match >= pr . PendingSnapshot   }"
pipeline([tokenized_code])

你可以在 Colab笔记本 中运行这个示例。

📚 详细文档

预期用途和限制

• 用途：该模型可用于生成Go函数的描述，也可在其他Go代码任务上进行微调。它可以处理未解析和未分词的Go代码，但如果代码已经过分词处理，性能会更好。

训练数据

有监督训练任务的数据集可以从 此处 下载。

训练过程

多任务预训练

模型在单个TPU Pod V3 - 8上进行了总共50万步的训练，使用的序列长度为512（批量大小为4096）。它总共有约2.2亿个参数，采用编码器 - 解码器架构进行训练。预训练时使用的优化器是AdaFactor，并采用逆平方根学习率调度。

微调

该模型随后在单个TPU Pod V2 - 8上进行了2000步的微调，使用的序列长度为512（批量大小为256），且仅使用包含Go代码的数据集。

评估结果

在代码文档生成任务中，不同模型在不同编程语言上的评估结果（以BLEU分数衡量）如下：

📄 许可证

文档中未提及许可证相关信息。

由 Ahmed Elnaggar | LinkedIn 和 Wei Ding | LinkedIn 创建