Code Trans T5 Large Code Documentation Generation Java Multitask

🚀 CodeTrans模型用于Java代码文档生成

本项目是一个基于t5-large模型架构，在Java编程语言上进行预训练的模型。它能为Java函数生成描述，也可针对其他Java代码任务进行微调。该模型最初发布于 此仓库，在经过标记化的Java代码函数上进行训练，因此在处理标记化的Java函数时效果最佳。

✨ 主要特性

• 基于t5-large模型，拥有自己的SentencePiece词汇模型。
• 采用多任务训练，涵盖软件开发领域的13个监督任务和7个无监督数据集。
• 可用于生成Java函数的描述，也能在其他Java代码任务上进行微调。
• 能处理未解析和未标记化的Java代码，但处理标记化代码时性能更佳。

📦 安装指南

此部分文档未提及具体安装步骤，可参考模型原仓库 CodeTrans 获取相关信息。

💻 使用示例

基础用法

以下是如何使用Transformers的SummarizationPipeline来生成Java函数文档的示例：

from transformers import AutoTokenizer, AutoModelWithLMHead, SummarizationPipeline

pipeline = SummarizationPipeline(
    model=AutoModelWithLMHead.from_pretrained("SEBIS/code_trans_t5_large_code_documentation_generation_java_multitask"),
    tokenizer=AutoTokenizer.from_pretrained("SEBIS/code_trans_t5_large_code_documentation_generation_java_multitask", skip_special_tokens=True),
    device=0
)

tokenized_code = "public static < T , U > Function < T , U > castFunction  ( Class < U > target ) { return new CastToClass < T , U > ( target ) ; }"
pipeline([tokenized_code])

你可以在 colab notebook 中运行此示例。

📚 详细文档

模型描述

此CodeTrans模型基于t5-large模型构建，具备自己的SentencePiece词汇模型。它在软件开发领域的13个监督任务和7个无监督数据集上进行了多任务训练。

预期用途与限制

该模型可用于生成Java函数的描述，也能针对其他Java代码任务进行微调。它能处理未解析和未标记化的Java代码，但如果Java代码经过标记化处理，其性能会更好。

训练数据

有监督训练任务的数据集可从 此处 下载。

训练过程

多任务预训练

该模型在单个TPU Pod V3 - 8上总共训练了180,000步，使用的序列长度为512（批量大小为4096）。它总共有约2.2亿个参数，采用编码器 - 解码器架构进行训练。预训练时使用的优化器是AdaFactor，并采用平方根倒数学习率调度。

评估结果

对于代码文档任务，不同模型在不同编程语言上取得了以下结果（以BLEU分数衡量）：

🔧 技术细节

• 模型基于t5-large架构，使用SentencePiece进行词汇处理。
• 多任务训练结合了软件开发领域的监督和无监督数据，提升了模型的泛化能力。
• 采用AdaFactor优化器和平方根倒数学习率调度，有助于模型在训练过程中更快收敛。

📄 许可证

此文档未提及许可证信息，可参考模型原仓库 CodeTrans 获取相关内容。

由 Ahmed Elnaggar | LinkedIn 和 魏丁 | LinkedIn 创建