🚀 用於Python源代碼摘要的CodeTrans模型
本模型基於t5小模型架構,在Python編程語言上進行預訓練。它最初發佈於 此倉庫。該模型在經過分詞處理的Python代碼函數上進行訓練,因此在處理分詞後的Python函數時效果最佳。
🚀 快速開始
本CodeTrans模型基於 t5-small
模型構建,擁有自己的SentencePiece詞彙模型。它在軟件開發領域的13個有監督任務和7個無監督數據集上進行了多任務訓練,隨後在Python代碼片段的源代碼摘要任務上進行了微調。
✨ 主要特性
- 可用於生成Python函數的描述,或在其他Python代碼任務上進行微調。
- 能處理未解析和未分詞的Python代碼,但對分詞後的Python代碼處理效果更佳。
📦 安裝指南
文檔未提及安裝相關內容,故跳過。
💻 使用示例
基礎用法
以下是如何使用 Transformers
的 SummarizationPipeline
來生成Python函數文檔的示例:
from transformers import AutoTokenizer, AutoModelWithLMHead, SummarizationPipeline
pipeline = SummarizationPipeline(
model=AutoModelWithLMHead.from_pretrained("SEBIS/code_trans_t5_small_source_code_summarization_python_multitask_finetune"),
tokenizer=AutoTokenizer.from_pretrained("SEBIS/code_trans_t5_small_source_code_summarization_python_multitask_finetune", skip_special_tokens=True),
device=0
)
tokenized_code = '''with open ( CODE_STRING , CODE_STRING ) as in_file : buf = in_file . readlines ( ) with open ( CODE_STRING , CODE_STRING ) as out_file : for line in buf : if line == " ; Include this text " : line = line + " Include below " out_file . write ( line ) '''
pipeline([tokenized_code])
你可以在 colab notebook 中運行此示例。
📚 詳細文檔
訓練數據
有監督訓練任務的數據集可從 此處 下載。
訓練過程
多任務預訓練
該模型在單個TPU Pod V3 - 8上總共訓練了500,000步,使用的序列長度為512(批量大小為4096)。它總共有約2.2億個參數,採用編碼器 - 解碼器架構進行訓練。預訓練使用的優化器是AdaFactor,學習率調度採用逆平方根策略。
微調
此模型隨後在單個TPU Pod V2 - 8上總共微調了600步,使用的序列長度為512(批量大小為256),僅使用包含Python代碼的數據集。
評估結果
對於源代碼摘要任務,不同模型在不同編程語言上取得了以下結果(以BLEU分數衡量):
測試結果:
語言 / 模型 |
Python |
SQL |
C# |
CodeTrans - ST - Small |
8.45 |
17.55 |
19.74 |
CodeTrans - ST - Base |
9.12 |
15.00 |
18.65 |
CodeTrans - TF - Small |
10.06 |
17.71 |
20.40 |
CodeTrans - TF - Base |
10.94 |
17.66 |
21.12 |
CodeTrans - TF - Large |
12.41 |
18.40 |
21.43 |
CodeTrans - MT - Small |
13.11 |
19.15 |
22.39 |
CodeTrans - MT - Base |
13.37 |
19.24 |
23.20 |
CodeTrans - MT - Large |
13.24 |
19.40 |
23.57 |
CodeTrans - MT - TF - Small |
12.10 |
18.25 |
22.03 |
CodeTrans - MT - TF - Base |
10.64 |
16.91 |
21.40 |
CodeTrans - MT - TF - Large |
12.14 |
19.98 |
21.10 |
CODE - NN |
-- |
18.40 |
20.50 |
🔧 技術細節
本模型基於 t5-small
模型架構,使用SentencePiece詞彙模型。通過多任務預訓練和後續的微調,使其在Python源代碼摘要任務上表現良好。多任務預訓練在多個有監督和無監督數據集上進行,微調則專注於Python代碼數據集。訓練過程中使用了特定的優化器和學習率調度策略。
📄 許可證
文檔未提及許可證相關內容,故跳過。
由 Ahmed Elnaggar | LinkedIn 和 魏丁 | LinkedIn 創建