🚀 CodeTrans模型用於API推薦生成
CodeTrans是一個基於t5-small
架構的預訓練模型,專門用於生成API推薦。它首次發佈於this repository,能為Java編程任務生成API使用建議。
🚀 快速開始
本模型可用於生成Java編程任務的API使用建議。以下是使用Transformers的SummarizationPipeline
生成Java函數文檔的示例代碼:
from transformers import AutoTokenizer, AutoModelWithLMHead, SummarizationPipeline
pipeline = SummarizationPipeline(
model=AutoModelWithLMHead.from_pretrained("SEBIS/code_trans_t5_small_api_generation_multitask_finetune"),
tokenizer=AutoTokenizer.from_pretrained("SEBIS/code_trans_t5_small_api_generation_multitask_finetune", skip_special_tokens=True),
device=0
)
tokenized_code = "parse the uses licence node of this package , if any , and returns the license definition if theres"
pipeline([tokenized_code])
你可以在colab notebook中運行此示例。
✨ 主要特性
- 架構基礎:基於
t5-small
模型構建,擁有自己的SentencePiece詞彙模型。
- 多任務訓練:在軟件開發領域的13個監督任務和7個無監督數據集上進行多任務訓練。
- 微調優化:針對Java API的API推薦生成任務進行了微調。
📦 安裝指南
文檔未提及具體安裝步驟,暫無法提供。
💻 使用示例
基礎用法
from transformers import AutoTokenizer, AutoModelWithLMHead, SummarizationPipeline
pipeline = SummarizationPipeline(
model=AutoModelWithLMHead.from_pretrained("SEBIS/code_trans_t5_small_api_generation_multitask_finetune"),
tokenizer=AutoTokenizer.from_pretrained("SEBIS/code_trans_t5_small_api_generation_multitask_finetune", skip_special_tokens=True),
device=0
)
tokenized_code = "parse the uses licence node of this package , if any , and returns the license definition if theres"
pipeline([tokenized_code])
📚 詳細文檔
模型描述
本CodeTrans模型基於t5-small
模型,擁有自己的SentencePiece詞彙模型。它在軟件開發領域的13個監督任務和7個無監督數據集上進行了多任務訓練,然後針對Java API的API推薦生成任務進行了微調。
預期用途和限制
該模型可用於為Java編程任務生成API使用建議。
訓練數據
有監督訓練任務的數據集可從Link下載。
訓練過程
多任務預訓練
模型在單個TPU Pod V3 - 8上總共訓練了500,000步,使用序列長度512(批量大小4096)。它總共有約2.2億個參數,採用編碼器 - 解碼器架構進行訓練。預訓練使用的優化器是AdaFactor,採用逆平方根學習率調度。
微調
該模型隨後在單個TPU Pod V2 - 8上總共微調了1,150,000步,使用序列長度512(批量大小256),僅使用包含API推薦生成數據的數據集。
評估結果
對於代碼文檔任務,不同模型在不同編程語言上取得了以下結果(以BLEU分數計):
語言/模型 |
Java |
CodeTrans - ST - Small |
68.71 |
CodeTrans - ST - Base |
70.45 |
CodeTrans - TF - Small |
68.90 |
CodeTrans - TF - Base |
72.11 |
CodeTrans - TF - Large |
73.26 |
CodeTrans - MT - Small |
58.43 |
CodeTrans - MT - Base |
67.97 |
CodeTrans - MT - Large |
72.29 |
CodeTrans - MT - TF - Small |
69.29 |
CodeTrans - MT - TF - Base |
72.89 |
CodeTrans - MT - TF - Large |
73.39 |
現有最優模型 |
54.42 |
🔧 技術細節
- 模型架構:基於
t5-small
的編碼器 - 解碼器架構。
- 詞彙模型:使用SentencePiece詞彙模型。
- 訓練設備:預訓練使用TPU Pod V3 - 8,微調使用TPU Pod V2 - 8。
- 訓練步數:預訓練500,000步,微調1,150,000步。
- 序列長度和批量大小:預訓練序列長度512,批量大小4096;微調序列長度512,批量大小256。
- 優化器:預訓練使用AdaFactor優化器,採用逆平方根學習率調度。
📄 許可證
文檔未提及許可證信息,暫無法提供。
由Ahmed Elnaggar | LinkedIn 和 Wei Ding | LinkedIn 創建