Code Trans T5 Base Api Generation Transfer Learning Finetune

🚀 CodeTrans模型用于API推荐生成

CodeTrans模型基于t5基础模型架构，是用于API推荐生成的预训练模型。它能为Java编程任务生成API使用信息，提升开发效率。该模型首次发布于 此仓库。

🚀 快速开始

以下是使用Transformers的SummarizationPipeline调用此模型生成Java函数文档的示例代码：

from transformers import AutoTokenizer, AutoModelWithLMHead, SummarizationPipeline

pipeline = SummarizationPipeline(
    model=AutoModelWithLMHead.from_pretrained("SEBIS/code_trans_t5_base_api_generation_transfer_learning_finetune"),
    tokenizer=AutoTokenizer.from_pretrained("SEBIS/code_trans_t5_base_api_generation_transfer_learning_finetune", skip_special_tokens=True),
    device=0
)

tokenized_code = "parse the uses licence node of this package , if any , and returns the license definition if theres"
pipeline([tokenized_code])

你可以在 Colab笔记本 中运行此示例。

✨ 主要特性

• 架构基础：基于t5-base模型构建，拥有自己的SentencePiece词汇模型。
• 预训练方式：在软件开发领域的7个无监督数据集上进行迁移学习预训练。
• 微调任务：针对Java API的API推荐生成任务进行微调。

📦 安装指南

文档未提及具体安装步骤，可参考模型仓库中的相关说明进行安装。

💻 使用示例

基础用法

from transformers import AutoTokenizer, AutoModelWithLMHead, SummarizationPipeline

pipeline = SummarizationPipeline(
    model=AutoModelWithLMHead.from_pretrained("SEBIS/code_trans_t5_base_api_generation_transfer_learning_finetune"),
    tokenizer=AutoTokenizer.from_pretrained("SEBIS/code_trans_t5_base_api_generation_transfer_learning_finetune", skip_special_tokens=True),
    device=0
)

tokenized_code = "parse the uses licence node of this package , if any , and returns the license definition if theres"
pipeline([tokenized_code])

高级用法

文档未提及高级用法相关代码示例，可根据实际需求对模型参数、输入数据等进行调整和扩展。

📚 详细文档

模型描述

此CodeTrans模型基于t5-base模型，具备自己的SentencePiece词汇模型。它在软件开发领域的7个无监督数据集上进行迁移学习预训练，之后针对Java API的API推荐生成任务进行微调。

预期用途与限制

该模型可用于为Java编程任务生成API使用信息。

训练数据

有监督训练任务的数据集可从 此处 下载。

训练过程

迁移学习预训练

模型在单个TPU Pod V3 - 8上总共训练240,000步，使用序列长度512（批量大小4096）。它总共有约2.2亿个参数，采用编码器 - 解码器架构进行训练。预训练使用的优化器是AdaFactor，学习率采用逆平方根调度。

微调

该模型随后在单个TPU Pod V3 - 8上针对仅包含API推荐生成数据的数据集进行微调，总共训练140万步，使用序列长度512（批量大小256）。

评估结果

对于代码文档任务，不同模型在不同编程语言上取得了以下BLEU分数结果：

🔧 技术细节

• 模型架构：基于t5-base的编码器 - 解码器架构。
• 训练设备：单个TPU Pod V3 - 8。
• 训练步数：预训练240,000步，微调140万步。
• 序列长度和批量大小：预训练序列长度512，批量大小4096；微调序列长度512，批量大小256。
• 优化器：预训练使用AdaFactor优化器，学习率采用逆平方根调度。

📄 许可证

文档未提及许可证相关信息。

由 Ahmed Elnaggar | LinkedIn 和 Wei Ding | LinkedIn 创建