Code Trans T5 Base Code Documentation Generation Java Multitask

🚀 CodeTrans模型：用于Java代码文档生成

CodeTrans是一个基于t5-base架构的预训练模型，专门针对Java编程语言进行训练。该模型可用于生成Java函数的描述，也能在其他Java代码任务上进行微调。它首次发布于this repository。此模型在经过分词的Java代码函数上进行训练，因此在处理分词后的Java函数时表现最佳。

🚀 快速开始

本模型可用于生成Java函数的文档描述，以下是使用Transformers库中的SummarizationPipeline调用该模型的示例代码：

from transformers import AutoTokenizer, AutoModelWithLMHead, SummarizationPipeline

pipeline = SummarizationPipeline(
    model=AutoModelWithLMHead.from_pretrained("SEBIS/code_trans_t5_base_code_documentation_generation_java_multitask"),
    tokenizer=AutoTokenizer.from_pretrained("SEBIS/code_trans_t5_base_code_documentation_generation_java_multitask", skip_special_tokens=True),
    device=0
)

tokenized_code = "public static < T , U > Function < T , U > castFunction  ( Class < U > target ) { return new CastToClass < T , U > ( target ) ; }"
pipeline([tokenized_code])

你可以在colab notebook中运行此示例。

✨ 主要特性

• 基于t5-base架构：本模型采用t5-base模型架构，并拥有自己的SentencePiece词汇模型。
• 多任务训练：在软件开发领域的13个有监督任务和7个无监督数据集上进行多任务训练。
• 广泛适用性：可用于未解析和未分词的Java代码，但对分词后的代码处理效果更佳。

📦 安装指南

文档中未提及具体安装步骤，若需使用可参考transformers库的安装方法。

💻 使用示例

基础用法

from transformers import AutoTokenizer, AutoModelWithLMHead, SummarizationPipeline

pipeline = SummarizationPipeline(
    model=AutoModelWithLMHead.from_pretrained("SEBIS/code_trans_t5_base_code_documentation_generation_java_multitask"),
    tokenizer=AutoTokenizer.from_pretrained("SEBIS/code_trans_t5_base_code_documentation_generation_java_multitask", skip_special_tokens=True),
    device=0
)

tokenized_code = "public static < T , U > Function < T , U > castFunction  ( Class < U > target ) { return new CastToClass < T , U > ( target ) ; }"
pipeline([tokenized_code])

高级用法

文档中未提及高级用法相关代码示例。

📚 详细文档

模型描述

本CodeTrans模型基于t5-base模型构建，拥有自己的SentencePiece词汇模型。它在软件开发领域的13个有监督任务和7个无监督数据集上进行了多任务训练。

预期用途与限制

该模型可用于生成Java函数的描述，也能在其他Java代码任务上进行微调。它可以处理未解析和未分词的Java代码，但如果代码经过分词处理，模型性能会更好。

训练数据

有监督训练任务的数据集可从Link下载。

训练过程

多任务预训练

模型在单个TPU Pod V3 - 8上进行了总共480,000步的训练，使用的序列长度为512（批量大小为4096）。模型总共有约2.2亿个参数，采用编码器 - 解码器架构进行训练。预训练使用的优化器是AdaFactor，并采用逆平方根学习率调度。

评估结果

对于代码文档生成任务，不同模型在不同编程语言上的测试结果（以BLEU分数衡量）如下：

🔧 技术细节

本模型基于t5-base架构，使用SentencePiece词汇模型。在训练过程中，采用了多任务学习的方法，结合了13个有监督任务和7个无监督数据集。训练在单个TPU Pod V3 - 8上进行，共480,000步，序列长度为512，批量大小为4096。优化器使用AdaFactor，并采用逆平方根学习率调度。

📄 许可证

文档中未提及许可证相关信息。

本项目由Ahmed Elnaggar | LinkedIn和Wei Ding | LinkedIn创建。