Code Trans T5 Base Code Documentation Generation Java Multitask

🚀 CodeTrans模型：用於Java代碼文檔生成

CodeTrans是一個基於t5-base架構的預訓練模型，專門針對Java編程語言進行訓練。該模型可用於生成Java函數的描述，也能在其他Java代碼任務上進行微調。它首次發佈於this repository。此模型在經過分詞的Java代碼函數上進行訓練，因此在處理分詞後的Java函數時表現最佳。

🚀 快速開始

本模型可用於生成Java函數的文檔描述，以下是使用Transformers庫中的SummarizationPipeline調用該模型的示例代碼：

from transformers import AutoTokenizer, AutoModelWithLMHead, SummarizationPipeline

pipeline = SummarizationPipeline(
    model=AutoModelWithLMHead.from_pretrained("SEBIS/code_trans_t5_base_code_documentation_generation_java_multitask"),
    tokenizer=AutoTokenizer.from_pretrained("SEBIS/code_trans_t5_base_code_documentation_generation_java_multitask", skip_special_tokens=True),
    device=0
)

tokenized_code = "public static < T , U > Function < T , U > castFunction  ( Class < U > target ) { return new CastToClass < T , U > ( target ) ; }"
pipeline([tokenized_code])

你可以在colab notebook中運行此示例。

✨ 主要特性

• 基於t5-base架構：本模型採用t5-base模型架構，並擁有自己的SentencePiece詞彙模型。
• 多任務訓練：在軟件開發領域的13個有監督任務和7個無監督數據集上進行多任務訓練。
• 廣泛適用性：可用於未解析和未分詞的Java代碼，但對分詞後的代碼處理效果更佳。

📦 安裝指南

文檔中未提及具體安裝步驟，若需使用可參考transformers庫的安裝方法。

💻 使用示例

基礎用法

from transformers import AutoTokenizer, AutoModelWithLMHead, SummarizationPipeline

pipeline = SummarizationPipeline(
    model=AutoModelWithLMHead.from_pretrained("SEBIS/code_trans_t5_base_code_documentation_generation_java_multitask"),
    tokenizer=AutoTokenizer.from_pretrained("SEBIS/code_trans_t5_base_code_documentation_generation_java_multitask", skip_special_tokens=True),
    device=0
)

tokenized_code = "public static < T , U > Function < T , U > castFunction  ( Class < U > target ) { return new CastToClass < T , U > ( target ) ; }"
pipeline([tokenized_code])

高級用法

文檔中未提及高級用法相關代碼示例。

📚 詳細文檔

模型描述

本CodeTrans模型基於t5-base模型構建，擁有自己的SentencePiece詞彙模型。它在軟件開發領域的13個有監督任務和7個無監督數據集上進行了多任務訓練。

預期用途與限制

該模型可用於生成Java函數的描述，也能在其他Java代碼任務上進行微調。它可以處理未解析和未分詞的Java代碼，但如果代碼經過分詞處理，模型性能會更好。

訓練數據

有監督訓練任務的數據集可從Link下載。

訓練過程

多任務預訓練

模型在單個TPU Pod V3 - 8上進行了總共480,000步的訓練，使用的序列長度為512（批量大小為4096）。模型總共有約2.2億個參數，採用編碼器 - 解碼器架構進行訓練。預訓練使用的優化器是AdaFactor，並採用逆平方根學習率調度。

評估結果

對於代碼文檔生成任務，不同模型在不同編程語言上的測試結果（以BLEU分數衡量）如下：

🔧 技術細節

本模型基於t5-base架構，使用SentencePiece詞彙模型。在訓練過程中，採用了多任務學習的方法，結合了13個有監督任務和7個無監督數據集。訓練在單個TPU Pod V3 - 8上進行，共480,000步，序列長度為512，批量大小為4096。優化器使用AdaFactor，並採用逆平方根學習率調度。

📄 許可證

文檔中未提及許可證相關信息。

本項目由Ahmed Elnaggar | LinkedIn和Wei Ding | LinkedIn創建。