Code Trans T5 Base Program Synthese

🚀 CodeTrans模型用于程序合成

CodeTrans模型基于t5基础模型架构，在受Lisp启发的领域特定语言（DSL）编程上进行预训练。它能根据自然语言描述生成相应的代码，为程序合成任务提供了高效的解决方案。

🚀 快速开始

本模型可用于根据自然语言描述生成受Lisp启发的DSL代码。以下是使用Transformers的SummarizationPipeline调用该模型的示例：

from transformers import AutoTokenizer, AutoModelWithLMHead, SummarizationPipeline

pipeline = SummarizationPipeline(
    model=AutoModelWithLMHead.from_pretrained("SEBIS/code_trans_t5_base_program_synthese"),
    tokenizer=AutoTokenizer.from_pretrained("SEBIS/code_trans_t5_base_program_synthese", skip_special_tokens=True),
    device=0
)

tokenized_code = "you are given an array of numbers a and a number b , compute the difference of elements in a and b"
pipeline([tokenized_code])

你可以在colab notebook中运行此示例。

✨ 主要特性

• 基于t5-base架构：利用了t5-base模型的强大语言理解和生成能力。
• 独立的词汇模型：拥有自己的SentencePiece词汇模型，更适配特定的编程任务。
• 单任务训练：在程序合成数据集上进行单任务训练，专注于代码生成能力。

📚 详细文档

模型描述

此CodeTrans模型基于t5-base模型构建，拥有独立的SentencePiece词汇模型，并在程序合成数据集上进行了单任务训练。

预期用途与限制

该模型可根据自然语言描述的任务生成受Lisp启发的DSL代码。

📦 安装指南

文档未提及具体安装步骤，你可参考原项目仓库 CodeTrans 进行安装。

💻 使用示例

基础用法

from transformers import AutoTokenizer, AutoModelWithLMHead, SummarizationPipeline

pipeline = SummarizationPipeline(
    model=AutoModelWithLMHead.from_pretrained("SEBIS/code_trans_t5_base_program_synthese"),
    tokenizer=AutoTokenizer.from_pretrained("SEBIS/code_trans_t5_base_program_synthese", skip_special_tokens=True),
    device=0
)

tokenized_code = "you are given an array of numbers a and a number b , compute the difference of elements in a and b"
pipeline([tokenized_code])

🔧 技术细节

本模型基于t5-base架构，使用SentencePiece构建词汇模型，并在程序合成数据集上进行单任务训练，以实现根据自然语言描述生成代码的功能。

📄 许可证

文档未提及相关许可证信息。

📦 训练数据

有监督的训练任务数据集可从 此处 下载。

📊 评估结果

对于代码文档任务，不同模型在不同编程语言上的测试结果（以BLEU分数衡量）如下：

由 Ahmed Elnaggar | LinkedIn 和 Wei Ding | LinkedIn 创建