Code Trans T5 Base Api Generation Multitask Finetune

🚀 CodeTrans模型用於API推薦生成

CodeTrans模型基於t5基礎模型架構進行預訓練，可用於生成API推薦。它能為Java編程任務生成API使用建議，為軟件開發提供了有力支持。該模型首次發佈於this repository。

🚀 快速開始

本模型可用於為Java編程任務生成API使用建議。以下是使用Transformers的SummarizationPipeline來生成Java函數文檔的示例代碼：

from transformers import AutoTokenizer, AutoModelWithLMHead, SummarizationPipeline

pipeline = SummarizationPipeline(
    model=AutoModelWithLMHead.from_pretrained("SEBIS/code_trans_t5_base_api_generation_multitask_finetune"),
    tokenizer=AutoTokenizer.from_pretrained("SEBIS/code_trans_t5_base_api_generation_multitask_finetune", skip_special_tokens=True),
    device=0
)

tokenized_code = "parse the uses licence node of this package , if any , and returns the license definition if theres"
pipeline([tokenized_code])

你可以在colab notebook中運行此示例。

✨ 主要特性

• 基於t5-base模型構建，擁有自己的SentencePiece詞彙模型。
• 採用多任務訓練，在軟件開發領域的13個監督任務和7個無監督數據集上進行訓練。
• 針對Java API的API推薦生成任務進行了微調。

📦 安裝指南

文檔未提及具體安裝步驟，暫不提供。

💻 使用示例

基礎用法

from transformers import AutoTokenizer, AutoModelWithLMHead, SummarizationPipeline

pipeline = SummarizationPipeline(
    model=AutoModelWithLMHead.from_pretrained("SEBIS/code_trans_t5_base_api_generation_multitask_finetune"),
    tokenizer=AutoTokenizer.from_pretrained("SEBIS/code_trans_t5_base_api_generation_multitask_finetune", skip_special_tokens=True),
    device=0
)

tokenized_code = "parse the uses licence node of this package , if any , and returns the license definition if theres"
pipeline([tokenized_code])

📚 詳細文檔

模型描述

本CodeTrans模型基於t5-base模型，有自己的SentencePiece詞彙模型。它在軟件開發領域的13個監督任務和7個無監督數據集上進行多任務訓練，然後針對Java API的API推薦生成任務進行微調。

預期用途和限制

該模型可用於為Java編程任務生成API使用建議。

訓練數據

有監督訓練任務的數據集可從Link下載。

訓練過程

多任務預訓練

模型在單個TPU Pod V3 - 8上總共訓練了500,000步，使用序列長度512（批量大小4096）。它總共有約2.2億個參數，採用編碼器 - 解碼器架構進行訓練。預訓練使用的優化器是AdaFactor，學習率調度採用逆平方根。

微調

該模型隨後在單個TPU Pod V2 - 8上總共微調了320,000步，使用序列長度512（批量大小256），僅使用包含API推薦生成數據的數據集。

評估結果

對於代碼文檔任務，不同模型在不同編程語言上取得了以下結果（以BLEU分數計）：

🔧 技術細節

模型基於t5-base架構，在多任務訓練和微調過程中，使用了特定的硬件（TPU Pod）和優化器（AdaFactor），並設置了相應的訓練參數（如步數、序列長度、批量大小等）。

📄 許可證

文檔未提及許可證信息，暫不提供。

由Ahmed Elnaggar | LinkedIn 和 Wei Ding | LinkedIn 創建