Code Trans T5 Base Commit Generation

🚀 CodeTrans模型用于Git提交消息生成

CodeTrans模型基于t5-base架构在Git提交数据上进行预训练，可用于生成Git提交消息，能在未解析和未分词的提交变更上使用，若变更经过分词处理，性能更佳。

🚀 快速开始

此CodeTrans模型基于t5-base模型，拥有自己的SentencePiece词汇模型，在Git提交消息生成数据集上进行单任务训练。它可用于为Git提交变更生成提交消息，也能在其他相关任务上进行微调。

✨ 主要特性

• 基于t5-base模型架构，有独立的SentencePiece词汇模型。
• 采用单任务训练，在Git提交消息生成数据集上进行训练。
• 可用于未解析和未分词的提交变更，分词后的变更输入性能更佳。

📦 安装指南

文档未提及安装步骤，暂不展示。

💻 使用示例

基础用法

以下是如何使用Transformers的SummarizationPipeline来生成Git提交消息的示例代码：

from transformers import AutoTokenizer, AutoModelWithLMHead, SummarizationPipeline

pipeline = SummarizationPipeline(
    model=AutoModelWithLMHead.from_pretrained("SEBIS/code_trans_t5_base_commit_generation"),
    tokenizer=AutoTokenizer.from_pretrained("SEBIS/code_trans_t5_base_commit_generation", skip_special_tokens=True),
    device=0
)

tokenized_code = "new file mode 100644 index 000000000 . . 892fda21b Binary files / dev / null and b / src / plugins / gateway / lib / joscar . jar differ"
pipeline([tokenized_code])

你可以在colab notebook中运行此示例。

📚 详细文档

模型描述

此CodeTrans模型基于t5-base模型，拥有自己的SentencePiece词汇模型，在Git提交消息生成数据集上进行单任务训练。

预期用途与限制

该模型可用于为Git提交变更生成提交消息，也能在其他相关任务上进行微调。它可以在未解析和未分词的提交变更上使用，但如果变更经过分词处理，性能会更好。

训练数据

有监督的训练任务数据集可以从此链接下载。

评估结果

对于Git提交消息生成任务，不同模型在不同编程语言上取得了以下结果（以BLEU分数衡量）：

由 Ahmed Elnaggar | LinkedIn 和 Wei Ding | LinkedIn 创建