Code Trans T5 Small Commit Generation Transfer Learning Finetune

🚀 CodeTrans模型：用於生成Git提交信息

CodeTrans模型基於t5 small架構，在Git提交數據上進行預訓練。它能根據代碼變更智能生成準確的Git提交信息，提升開發效率。該模型最初發佈於 此倉庫 。

🚀 快速開始

本模型基於 t5-small 架構，擁有自己的SentencePiece詞彙模型。它在軟件開發領域的7個無監督數據集上進行了遷移學習預訓練，然後針對Java提交變更的Git提交信息生成任務進行了微調。

如何使用

以下是使用Transformers的SummarizationPipeline調用此模型生成Git提交信息的示例代碼：

from transformers import AutoTokenizer, AutoModelWithLMHead, SummarizationPipeline

pipeline = SummarizationPipeline(
    model=AutoModelWithLMHead.from_pretrained("SEBIS/code_trans_t5_small_commit_generation_transfer_learning_finetune"),
    tokenizer=AutoTokenizer.from_pretrained("SEBIS/code_trans_t5_small_commit_generation_transfer_learning_finetune", skip_special_tokens=True),
    device=0
)

tokenized_code = "new file mode 100644 index 000000000 . . 892fda21b Binary files / dev / null and b / src / plugins / gateway / lib / joscar . jar differ"
pipeline([tokenized_code])

你可以在 colab notebook 中運行此示例。

✨ 主要特性

• 廣泛適用性：可用於為Git提交變更生成提交信息，也能在其他相關任務上進行微調。
• 性能優勢：對未解析和未分詞的提交變更也能處理，若輸入為分詞後的變更，性能更佳。

📦 安裝指南

文檔未提及安裝步驟，暫不提供。

💻 使用示例

基礎用法

from transformers import AutoTokenizer, AutoModelWithLMHead, SummarizationPipeline

pipeline = SummarizationPipeline(
    model=AutoModelWithLMHead.from_pretrained("SEBIS/code_trans_t5_small_commit_generation_transfer_learning_finetune"),
    tokenizer=AutoTokenizer.from_pretrained("SEBIS/code_trans_t5_small_commit_generation_transfer_learning_finetune", skip_special_tokens=True),
    device=0
)

tokenized_code = "new file mode 100644 index 000000000 . . 892fda21b Binary files / dev / null and b / src / plugins / gateway / lib / joscar . jar differ"
pipeline([tokenized_code])

📚 詳細文檔

訓練數據

有監督訓練任務的數據集可從 此鏈接 下載。

訓練過程

遷移學習預訓練

模型在單個TPU Pod V3 - 8上進行了總計500,000步的訓練，序列長度為512（批量大小為4096）。它共有約2.2億個參數，採用編碼器 - 解碼器架構進行訓練。預訓練使用的優化器是AdaFactor，學習率採用逆平方根調度。

微調

模型在單個TPU Pod V2 - 8上進行了總計10,000步的微調，序列長度為512（批量大小為256），僅使用包含提交變更的數據集。

評估結果

在Git提交信息生成任務中，不同模型在不同編程語言上的評估結果（BLEU分數）如下：

🔧 技術細節

本模型基於 t5-small 模型，使用了SentencePiece詞彙模型。通過遷移學習在7個無監督數據集上進行預訓練，再針對Java提交變更的Git提交信息生成任務進行微調，提升了模型在特定任務上的性能。

📄 許可證

文檔未提及許可證信息，暫不提供。

本模型由 Ahmed Elnaggar | LinkedIn 和 Wei Ding | LinkedIn 創建。