Code Trans T5 Base Api Generation Transfer Learning Finetune

🚀 CodeTrans模型用於API推薦生成

CodeTrans模型基於t5基礎模型架構，是用於API推薦生成的預訓練模型。它能為Java編程任務生成API使用信息，提升開發效率。該模型首次發佈於 此倉庫。

🚀 快速開始

以下是使用Transformers的SummarizationPipeline調用此模型生成Java函數文檔的示例代碼：

from transformers import AutoTokenizer, AutoModelWithLMHead, SummarizationPipeline

pipeline = SummarizationPipeline(
    model=AutoModelWithLMHead.from_pretrained("SEBIS/code_trans_t5_base_api_generation_transfer_learning_finetune"),
    tokenizer=AutoTokenizer.from_pretrained("SEBIS/code_trans_t5_base_api_generation_transfer_learning_finetune", skip_special_tokens=True),
    device=0
)

tokenized_code = "parse the uses licence node of this package , if any , and returns the license definition if theres"
pipeline([tokenized_code])

你可以在 Colab筆記本 中運行此示例。

✨ 主要特性

• 架構基礎：基於t5-base模型構建，擁有自己的SentencePiece詞彙模型。
• 預訓練方式：在軟件開發領域的7個無監督數據集上進行遷移學習預訓練。
• 微調任務：針對Java API的API推薦生成任務進行微調。

📦 安裝指南

文檔未提及具體安裝步驟，可參考模型倉庫中的相關說明進行安裝。

💻 使用示例

基礎用法

from transformers import AutoTokenizer, AutoModelWithLMHead, SummarizationPipeline

pipeline = SummarizationPipeline(
    model=AutoModelWithLMHead.from_pretrained("SEBIS/code_trans_t5_base_api_generation_transfer_learning_finetune"),
    tokenizer=AutoTokenizer.from_pretrained("SEBIS/code_trans_t5_base_api_generation_transfer_learning_finetune", skip_special_tokens=True),
    device=0
)

tokenized_code = "parse the uses licence node of this package , if any , and returns the license definition if theres"
pipeline([tokenized_code])

高級用法

文檔未提及高級用法相關代碼示例，可根據實際需求對模型參數、輸入數據等進行調整和擴展。

📚 詳細文檔

模型描述

此CodeTrans模型基於t5-base模型，具備自己的SentencePiece詞彙模型。它在軟件開發領域的7個無監督數據集上進行遷移學習預訓練，之後針對Java API的API推薦生成任務進行微調。

預期用途與限制

該模型可用於為Java編程任務生成API使用信息。

訓練數據

有監督訓練任務的數據集可從 此處 下載。

訓練過程

遷移學習預訓練

模型在單個TPU Pod V3 - 8上總共訓練240,000步，使用序列長度512（批量大小4096）。它總共有約2.2億個參數，採用編碼器 - 解碼器架構進行訓練。預訓練使用的優化器是AdaFactor，學習率採用逆平方根調度。

微調

該模型隨後在單個TPU Pod V3 - 8上針對僅包含API推薦生成數據的數據集進行微調，總共訓練140萬步，使用序列長度512（批量大小256）。

評估結果

對於代碼文檔任務，不同模型在不同編程語言上取得了以下BLEU分數結果：

🔧 技術細節

• 模型架構：基於t5-base的編碼器 - 解碼器架構。
• 訓練設備：單個TPU Pod V3 - 8。
• 訓練步數：預訓練240,000步，微調140萬步。
• 序列長度和批量大小：預訓練序列長度512，批量大小4096；微調序列長度512，批量大小256。
• 優化器：預訓練使用AdaFactor優化器，學習率採用逆平方根調度。

📄 許可證

文檔未提及許可證相關信息。

由 Ahmed Elnaggar | LinkedIn 和 Wei Ding | LinkedIn 創建