Code Trans T5 Base Source Code Summarization Sql Transfer Learning Finetune

🚀 用于SQL源代码摘要的CodeTrans模型

本模型基于t5-base架构，在SQL编程语言上进行预训练，可用于生成SQL函数的描述或在其他SQL代码任务上进行微调。它最初发布于 此仓库 。

🚀 快速开始

本模型可用于生成SQL函数的描述，或在其他SQL代码任务上进行微调。以下是使用Transformers库的SummarizationPipeline生成SQL函数文档的示例：

from transformers import AutoTokenizer, AutoModelWithLMHead, SummarizationPipeline

pipeline = SummarizationPipeline(
    model=AutoModelWithLMHead.from_pretrained("SEBIS/code_trans_t5_base_source_code_summarization_sql_transfer_learning_finetune"),
    tokenizer=AutoTokenizer.from_pretrained("SEBIS/code_trans_t5_base_source_code_summarization_sql_transfer_learning_finetune", skip_special_tokens=True),
    device=0
)

tokenized_code =  "select time ( col0 ) from tab0"
pipeline([tokenized_code])

你可以在 colab notebook 中运行此示例。

✨ 主要特性

• 基于t5-base模型架构，拥有自己的SentencePiece词汇模型。
• 在软件开发领域的7个无监督数据集上进行了迁移学习预训练。
• 针对SQL代码片段的源代码摘要任务进行了微调。

📦 安装指南

文档未提及具体安装步骤，可参考 此仓库 获取相关信息。

💻 使用示例

基础用法

from transformers import AutoTokenizer, AutoModelWithLMHead, SummarizationPipeline

pipeline = SummarizationPipeline(
    model=AutoModelWithLMHead.from_pretrained("SEBIS/code_trans_t5_base_source_code_summarization_sql_transfer_learning_finetune"),
    tokenizer=AutoTokenizer.from_pretrained("SEBIS/code_trans_t5_base_source_code_summarization_sql_transfer_learning_finetune", skip_special_tokens=True),
    device=0
)

tokenized_code =  "select time ( col0 ) from tab0"
pipeline([tokenized_code])

📚 详细文档

模型描述

此CodeTrans模型基于t5-base模型，拥有自己的SentencePiece词汇模型。它在软件开发领域的7个无监督数据集上进行了迁移学习预训练，然后针对SQL代码片段的源代码摘要任务进行了微调。

预期用途与限制

该模型可用于生成SQL函数的描述，或在其他SQL代码任务上进行微调。它可以处理未解析和未分词的SQL代码，但如果SQL代码经过分词处理，性能会更好。

训练数据

有监督训练任务的数据集可从 此处 下载。

训练过程

迁移学习预训练

该模型在单个TPU Pod V3 - 8上总共训练了500,000步，使用序列长度为512（批量大小为4096）。它总共有约2.2亿个参数，采用编码器 - 解码器架构进行训练。预训练使用的优化器是AdaFactor，学习率采用逆平方根调度。

微调

该模型随后在单个TPU Pod V2 - 8上针对仅包含SQL代码的数据集进行了500步的微调，使用序列长度为512（批量大小为256）。

评估结果

对于源代码摘要任务，不同模型在不同编程语言上取得了以下结果（以BLEU分数衡量）：

🔧 技术细节

• 模型基于t5-base架构，采用编码器 - 解码器结构。
• 使用SentencePiece进行词汇处理。
• 迁移学习预训练在7个无监督数据集上进行，微调在SQL代码摘要任务上进行。

📄 许可证

文档未提及许可证信息。

由 Ahmed Elnaggar | LinkedIn 和 Wei Ding | LinkedIn 创建