Code Trans T5 Base Source Code Summarization Python Multitask

🚀 CodeTrans模型用于Python源代码摘要生成

本项目是一个基于t5-base架构，针对Python编程语言进行预训练的模型，可用于生成Python代码的描述摘要。它首次发布于 此仓库，在经过标记化处理的Python代码函数上进行训练，因此在处理这类数据时能发挥最佳性能。

✨ 主要特性

• 基于t5-base模型架构，拥有自己的SentencePiece词汇模型。
• 采用多任务训练，涵盖软件开发领域的13个监督任务和7个无监督数据集。
• 可用于生成Python函数的描述，也能在其他Python代码任务上进行微调。
• 能处理未解析和未标记化的Python代码，但对标记化代码的处理效果更佳。

📦 安装指南

文档未提及具体安装步骤，可参考原仓库 CodeTrans 获取安装相关信息。

💻 使用示例

基础用法

以下是使用Transformers的SummarizationPipeline调用此模型生成Python函数文档的示例代码：

from transformers import AutoTokenizer, AutoModelWithLMHead, SummarizationPipeline

pipeline = SummarizationPipeline(
    model=AutoModelWithLMHead.from_pretrained("SEBIS/code_trans_t5_base_source_code_summarization_python_multitask"),
    tokenizer=AutoTokenizer.from_pretrained("SEBIS/code_trans_t5_base_source_code_summarization_python_multitask", skip_special_tokens=True),
    device=0
)

tokenized_code = '''with open ( CODE_STRING , CODE_STRING ) as in_file : buf = in_file . readlines ( )  with open ( CODE_STRING , CODE_STRING ) as out_file : for line in buf :          if line ==   " ; Include this text   " :              line = line +   " Include below  "          out_file . write ( line ) '''
pipeline([tokenized_code])

你可以在 colab notebook 中运行该示例。

📚 详细文档

模型描述

此CodeTrans模型基于t5-base模型构建，拥有自己的SentencePiece词汇模型。它在软件开发领域的13个监督任务和7个无监督数据集上进行了多任务训练。

预期用途和限制

该模型可用于生成Python函数的描述，也可在其他Python代码任务上进行微调。它能处理未解析和未标记化的Python代码，但如果代码经过标记化处理，模型性能会更好。

训练数据

有监督训练任务的数据集可从 此处 下载。

训练过程

多任务预训练

模型在单个TPU Pod V3 - 8上总共训练了260,000步，使用序列长度为512（批量大小为4096）。模型总共约有2.2亿个参数，采用编码器 - 解码器架构进行训练。预训练使用的优化器是AdaFactor，并采用平方根倒数学习率调度。

评估结果

在源代码摘要生成任务中，不同模型在不同编程语言上取得了以下BLEU分数：

由 Ahmed Elnaggar | LinkedIn 和 Wei Ding | LinkedIn 创建