Code Trans T5 Large Code Documentation Generation Java Multitask

🚀 CodeTrans模型用於Java代碼文檔生成

本項目是一個基於t5-large模型架構，在Java編程語言上進行預訓練的模型。它能為Java函數生成描述，也可針對其他Java代碼任務進行微調。該模型最初發佈於 此倉庫，在經過標記化的Java代碼函數上進行訓練，因此在處理標記化的Java函數時效果最佳。

✨ 主要特性

• 基於t5-large模型，擁有自己的SentencePiece詞彙模型。
• 採用多任務訓練，涵蓋軟件開發領域的13個監督任務和7個無監督數據集。
• 可用於生成Java函數的描述，也能在其他Java代碼任務上進行微調。
• 能處理未解析和未標記化的Java代碼，但處理標記化代碼時性能更佳。

📦 安裝指南

此部分文檔未提及具體安裝步驟，可參考模型原倉庫 CodeTrans 獲取相關信息。

💻 使用示例

基礎用法

以下是如何使用Transformers的SummarizationPipeline來生成Java函數文檔的示例：

from transformers import AutoTokenizer, AutoModelWithLMHead, SummarizationPipeline

pipeline = SummarizationPipeline(
    model=AutoModelWithLMHead.from_pretrained("SEBIS/code_trans_t5_large_code_documentation_generation_java_multitask"),
    tokenizer=AutoTokenizer.from_pretrained("SEBIS/code_trans_t5_large_code_documentation_generation_java_multitask", skip_special_tokens=True),
    device=0
)

tokenized_code = "public static < T , U > Function < T , U > castFunction  ( Class < U > target ) { return new CastToClass < T , U > ( target ) ; }"
pipeline([tokenized_code])

你可以在 colab notebook 中運行此示例。

📚 詳細文檔

模型描述

此CodeTrans模型基於t5-large模型構建，具備自己的SentencePiece詞彙模型。它在軟件開發領域的13個監督任務和7個無監督數據集上進行了多任務訓練。

預期用途與限制

該模型可用於生成Java函數的描述，也能針對其他Java代碼任務進行微調。它能處理未解析和未標記化的Java代碼，但如果Java代碼經過標記化處理，其性能會更好。

訓練數據

有監督訓練任務的數據集可從 此處 下載。

訓練過程

多任務預訓練

該模型在單個TPU Pod V3 - 8上總共訓練了180,000步，使用的序列長度為512（批量大小為4096）。它總共有約2.2億個參數，採用編碼器 - 解碼器架構進行訓練。預訓練時使用的優化器是AdaFactor，並採用平方根倒數學習率調度。

評估結果

對於代碼文檔任務，不同模型在不同編程語言上取得了以下結果（以BLEU分數衡量）：

🔧 技術細節

• 模型基於t5-large架構，使用SentencePiece進行詞彙處理。
• 多任務訓練結合了軟件開發領域的監督和無監督數據，提升了模型的泛化能力。
• 採用AdaFactor優化器和平方根倒數學習率調度，有助於模型在訓練過程中更快收斂。

📄 許可證

此文檔未提及許可證信息，可參考模型原倉庫 CodeTrans 獲取相關內容。

由 Ahmed Elnaggar | LinkedIn 和 魏丁 | LinkedIn 創建