Code Trans T5 Small Commit Generation Transfer Learning Finetune

🚀 CodeTrans模型：用于生成Git提交信息

CodeTrans模型基于t5 small架构，在Git提交数据上进行预训练。它能根据代码变更智能生成准确的Git提交信息，提升开发效率。该模型最初发布于 此仓库 。

🚀 快速开始

本模型基于 t5-small 架构，拥有自己的SentencePiece词汇模型。它在软件开发领域的7个无监督数据集上进行了迁移学习预训练，然后针对Java提交变更的Git提交信息生成任务进行了微调。

如何使用

以下是使用Transformers的SummarizationPipeline调用此模型生成Git提交信息的示例代码：

from transformers import AutoTokenizer, AutoModelWithLMHead, SummarizationPipeline

pipeline = SummarizationPipeline(
    model=AutoModelWithLMHead.from_pretrained("SEBIS/code_trans_t5_small_commit_generation_transfer_learning_finetune"),
    tokenizer=AutoTokenizer.from_pretrained("SEBIS/code_trans_t5_small_commit_generation_transfer_learning_finetune", skip_special_tokens=True),
    device=0
)

tokenized_code = "new file mode 100644 index 000000000 . . 892fda21b Binary files / dev / null and b / src / plugins / gateway / lib / joscar . jar differ"
pipeline([tokenized_code])

你可以在 colab notebook 中运行此示例。

✨ 主要特性

• 广泛适用性：可用于为Git提交变更生成提交信息，也能在其他相关任务上进行微调。
• 性能优势：对未解析和未分词的提交变更也能处理，若输入为分词后的变更，性能更佳。

📦 安装指南

文档未提及安装步骤，暂不提供。

💻 使用示例

基础用法

from transformers import AutoTokenizer, AutoModelWithLMHead, SummarizationPipeline

pipeline = SummarizationPipeline(
    model=AutoModelWithLMHead.from_pretrained("SEBIS/code_trans_t5_small_commit_generation_transfer_learning_finetune"),
    tokenizer=AutoTokenizer.from_pretrained("SEBIS/code_trans_t5_small_commit_generation_transfer_learning_finetune", skip_special_tokens=True),
    device=0
)

tokenized_code = "new file mode 100644 index 000000000 . . 892fda21b Binary files / dev / null and b / src / plugins / gateway / lib / joscar . jar differ"
pipeline([tokenized_code])

📚 详细文档

训练数据

有监督训练任务的数据集可从 此链接 下载。

训练过程

迁移学习预训练

模型在单个TPU Pod V3 - 8上进行了总计500,000步的训练，序列长度为512（批量大小为4096）。它共有约2.2亿个参数，采用编码器 - 解码器架构进行训练。预训练使用的优化器是AdaFactor，学习率采用逆平方根调度。

微调

模型在单个TPU Pod V2 - 8上进行了总计10,000步的微调，序列长度为512（批量大小为256），仅使用包含提交变更的数据集。

评估结果

在Git提交信息生成任务中，不同模型在不同编程语言上的评估结果（BLEU分数）如下：

🔧 技术细节

本模型基于 t5-small 模型，使用了SentencePiece词汇模型。通过迁移学习在7个无监督数据集上进行预训练，再针对Java提交变更的Git提交信息生成任务进行微调，提升了模型在特定任务上的性能。

📄 许可证

文档未提及许可证信息，暂不提供。

本模型由 Ahmed Elnaggar | LinkedIn 和 Wei Ding | LinkedIn 创建。