Code Trans T5 Large Code Comment Generation Java Multitask Finetune

🚀 用於代碼文檔生成（Java）的CodeTrans模型

這是一個基於t5-large架構，在Java編程語言上進行預訓練的模型。它首次發佈於此倉庫。該模型在經過分詞處理的Java代碼函數上進行訓練，因此在處理分詞後的Java函數時表現最佳。

🚀 快速開始

模型描述

此CodeTrans模型基於t5-large模型構建，擁有自己的SentencePiece詞彙模型。它在軟件開發領域的13個有監督任務和7個無監督數據集上進行了多任務訓練，隨後在Java函數/方法的代碼註釋生成任務上進行了微調。

預期用途和侷限性

該模型可用於生成Java函數的描述，也可在其他Java代碼任務上進行微調。它可以處理未解析和未分詞的Java代碼，但如果Java代碼已經過分詞處理，模型性能會更好。

如何使用

以下是如何使用Transformers的SummarizationPipeline來生成Java函數文檔的示例：

from transformers import AutoTokenizer, AutoModelWithLMHead, SummarizationPipeline

pipeline = SummarizationPipeline(
    model=AutoModelWithLMHead.from_pretrained("SEBIS/code_trans_t5_large_code_comment_generation_java_multitask_finetune"),
    tokenizer=AutoTokenizer.from_pretrained("SEBIS/code_trans_t5_large_code_comment_generation_java_multitask_finetune", skip_special_tokens=True),
    device=0
)

tokenized_code = "protected String renderUri ( URI uri ) { return uri . toASCIIString ( ) ; }"
pipeline([tokenized_code])

你可以在Colab筆記本中運行這個示例。

✨ 主要特性

• 基於t5-large模型架構，擁有獨立的SentencePiece詞彙模型。
• 採用多任務訓練，涵蓋軟件開發領域的13個有監督任務和7個無監督數據集。
• 針對Java函數/方法的代碼註釋生成任務進行了微調。

📦 安裝指南

暫未提及安裝相關內容，可參考模型倉庫中的說明進行安裝。

💻 使用示例

基礎用法

from transformers import AutoTokenizer, AutoModelWithLMHead, SummarizationPipeline

pipeline = SummarizationPipeline(
    model=AutoModelWithLMHead.from_pretrained("SEBIS/code_trans_t5_large_code_comment_generation_java_multitask_finetune"),
    tokenizer=AutoTokenizer.from_pretrained("SEBIS/code_trans_t5_large_code_comment_generation_java_multitask_finetune", skip_special_tokens=True),
    device=0
)

tokenized_code = "protected String renderUri ( URI uri ) { return uri . toASCIIString ( ) ; }"
pipeline([tokenized_code])

📚 詳細文檔

訓練數據

有監督訓練任務的數據集可以從這裡下載。

訓練過程

多任務預訓練

該模型在單個TPU Pod V3 - 8上進行了總共260,000步的訓練，使用的序列長度為512（批量大小為4096）。模型總共約有2.2億個參數，採用編碼器 - 解碼器架構進行訓練。預訓練使用的優化器是AdaFactor，並採用平方根倒數學習率調度。

微調

該模型隨後在單個TPU Pod V3 - 8上進行了總共25,000步的微調，使用的序列長度為512（批量大小為256），僅使用包含Java代碼的數據集。

評估結果

對於代碼文檔生成任務，不同模型在不同編程語言上的評估結果（以BLEU分數衡量）如下：

🔧 技術細節

該模型基於t5-large架構，使用SentencePiece進行分詞處理。在多任務訓練階段，結合了軟件開發領域的有監督和無監督數據集，以學習更廣泛的代碼模式。微調階段則專注於Java代碼的註釋生成任務，進一步優化模型在該特定任務上的性能。

📄 許可證

原文檔未提及許可證信息。

由 Ahmed Elnaggar | LinkedIn 和 Wei Ding | LinkedIn 創建