Code Trans T5 Base Commit Generation

🚀 CodeTrans模型用於Git提交消息生成

CodeTrans模型基於t5-base架構在Git提交數據上進行預訓練，可用於生成Git提交消息，能在未解析和未分詞的提交變更上使用，若變更經過分詞處理，性能更佳。

🚀 快速開始

此CodeTrans模型基於t5-base模型，擁有自己的SentencePiece詞彙模型，在Git提交消息生成數據集上進行單任務訓練。它可用於為Git提交變更生成提交消息，也能在其他相關任務上進行微調。

✨ 主要特性

• 基於t5-base模型架構，有獨立的SentencePiece詞彙模型。
• 採用單任務訓練，在Git提交消息生成數據集上進行訓練。
• 可用於未解析和未分詞的提交變更，分詞後的變更輸入性能更佳。

📦 安裝指南

文檔未提及安裝步驟，暫不展示。

💻 使用示例

基礎用法

以下是如何使用Transformers的SummarizationPipeline來生成Git提交消息的示例代碼：

from transformers import AutoTokenizer, AutoModelWithLMHead, SummarizationPipeline

pipeline = SummarizationPipeline(
    model=AutoModelWithLMHead.from_pretrained("SEBIS/code_trans_t5_base_commit_generation"),
    tokenizer=AutoTokenizer.from_pretrained("SEBIS/code_trans_t5_base_commit_generation", skip_special_tokens=True),
    device=0
)

tokenized_code = "new file mode 100644 index 000000000 . . 892fda21b Binary files / dev / null and b / src / plugins / gateway / lib / joscar . jar differ"
pipeline([tokenized_code])

你可以在colab notebook中運行此示例。

📚 詳細文檔

模型描述

此CodeTrans模型基於t5-base模型，擁有自己的SentencePiece詞彙模型，在Git提交消息生成數據集上進行單任務訓練。

預期用途與限制

該模型可用於為Git提交變更生成提交消息，也能在其他相關任務上進行微調。它可以在未解析和未分詞的提交變更上使用，但如果變更經過分詞處理，性能會更好。

訓練數據

有監督的訓練任務數據集可以從此鏈接下載。

評估結果

對於Git提交消息生成任務，不同模型在不同編程語言上取得了以下結果（以BLEU分數衡量）：

由 Ahmed Elnaggar | LinkedIn 和 Wei Ding | LinkedIn 創建