Code Trans T5 Small Api Generation Multitask

🚀 CodeTrans API推薦生成模型

CodeTrans是一個基於t5-small架構的預訓練模型，可用於API推薦生成。該模型在軟件開發領域的多個任務上進行了訓練，能為Java編程任務生成API使用建議。

🚀 快速開始

模型描述

此CodeTrans模型基於t5-small模型構建，擁有自己的SentencePiece詞彙模型。它在軟件開發領域的13個有監督任務和7個無監督數據集上進行了多任務訓練。

預期用途與限制

該模型可用於為Java編程任務生成API使用建議。

使用方法

以下是使用Transformers的SummarizationPipeline來生成Java函數文檔的示例代碼：

from transformers import AutoTokenizer, AutoModelWithLMHead, SummarizationPipeline

pipeline = SummarizationPipeline(
    model=AutoModelWithLMHead.from_pretrained("SEBIS/code_trans_t5_small_api_generation_multitask"),
    tokenizer=AutoTokenizer.from_pretrained("SEBIS/code_trans_t5_small_api_generation_multitask", skip_special_tokens=True),
    device=0
)

tokenized_code = "parse the uses licence node of this package , if any , and returns the license definition if theres"
pipeline([tokenized_code])

你可以在colab notebook中運行此示例。

📦 安裝指南

文檔未提及具體安裝步驟，暫無法提供。

💻 使用示例

基礎用法

from transformers import AutoTokenizer, AutoModelWithLMHead, SummarizationPipeline

pipeline = SummarizationPipeline(
    model=AutoModelWithLMHead.from_pretrained("SEBIS/code_trans_t5_small_api_generation_multitask"),
    tokenizer=AutoTokenizer.from_pretrained("SEBIS/code_trans_t5_small_api_generation_multitask", skip_special_tokens=True),
    device=0
)

tokenized_code = "parse the uses licence node of this package , if any , and returns the license definition if theres"
pipeline([tokenized_code])

📚 詳細文檔

訓練數據

有監督訓練任務的數據集可從此處下載。

訓練過程

多任務預訓練

該模型在單個TPU Pod V3 - 8上進行了總共500,000步的訓練，使用的序列長度為512（批量大小為4096）。 模型總共約有2.2億個參數，採用編碼器 - 解碼器架構進行訓練。 預訓練使用的優化器是AdaFactor，並採用平方根倒數學習率調度。

評估結果

對於代碼文檔任務，不同模型在不同編程語言上取得了以下結果（以BLEU分數衡量）：

🔧 技術細節

模型基於t5-small架構，使用SentencePiece詞彙模型，在多個有監督和無監督數據集上進行多任務訓練。採用編碼器 - 解碼器架構，使用AdaFactor優化器和平方根倒數學習率調度進行預訓練。

📄 許可證

文檔未提及許可證信息，暫無法提供。

Created by Ahmed Elnaggar | LinkedIn and Wei Ding | LinkedIn