Code Trans T5 Small Source Code Summarization Python Multitask Finetune

🚀 用于Python源代码摘要的CodeTrans模型

本模型基于t5小模型架构，在Python编程语言上进行预训练。它最初发布于 此仓库。该模型在经过分词处理的Python代码函数上进行训练，因此在处理分词后的Python函数时效果最佳。

🚀 快速开始

本CodeTrans模型基于 t5-small 模型构建，拥有自己的SentencePiece词汇模型。它在软件开发领域的13个有监督任务和7个无监督数据集上进行了多任务训练，随后在Python代码片段的源代码摘要任务上进行了微调。

✨ 主要特性

• 可用于生成Python函数的描述，或在其他Python代码任务上进行微调。
• 能处理未解析和未分词的Python代码，但对分词后的Python代码处理效果更佳。

📦 安装指南

文档未提及安装相关内容，故跳过。

💻 使用示例

基础用法

以下是如何使用 Transformers 的 SummarizationPipeline 来生成Python函数文档的示例：

from transformers import AutoTokenizer, AutoModelWithLMHead, SummarizationPipeline

pipeline = SummarizationPipeline(
    model=AutoModelWithLMHead.from_pretrained("SEBIS/code_trans_t5_small_source_code_summarization_python_multitask_finetune"),
    tokenizer=AutoTokenizer.from_pretrained("SEBIS/code_trans_t5_small_source_code_summarization_python_multitask_finetune", skip_special_tokens=True),
    device=0
)

tokenized_code = '''with open ( CODE_STRING , CODE_STRING ) as in_file : buf = in_file . readlines ( )  with open ( CODE_STRING , CODE_STRING ) as out_file : for line in buf :          if line ==   " ; Include this text   " :              line = line +   " Include below  "          out_file . write ( line ) '''
pipeline([tokenized_code])

你可以在 colab notebook 中运行此示例。

📚 详细文档

训练数据

有监督训练任务的数据集可从 此处 下载。

训练过程

多任务预训练

该模型在单个TPU Pod V3 - 8上总共训练了500,000步，使用的序列长度为512（批量大小为4096）。它总共有约2.2亿个参数，采用编码器 - 解码器架构进行训练。预训练使用的优化器是AdaFactor，学习率调度采用逆平方根策略。

微调

此模型随后在单个TPU Pod V2 - 8上总共微调了600步，使用的序列长度为512（批量大小为256），仅使用包含Python代码的数据集。

评估结果

对于源代码摘要任务，不同模型在不同编程语言上取得了以下结果（以BLEU分数衡量）：

测试结果：

🔧 技术细节

本模型基于 t5-small 模型架构，使用SentencePiece词汇模型。通过多任务预训练和后续的微调，使其在Python源代码摘要任务上表现良好。多任务预训练在多个有监督和无监督数据集上进行，微调则专注于Python代码数据集。训练过程中使用了特定的优化器和学习率调度策略。

📄 许可证

文档未提及许可证相关内容，故跳过。

由 Ahmed Elnaggar | LinkedIn 和 魏丁 | LinkedIn 创建