Code Trans T5 Base Source Code Summarization Sql Transfer Learning Finetune

🚀 用於SQL源代碼摘要的CodeTrans模型

本模型基於t5-base架構，在SQL編程語言上進行預訓練，可用於生成SQL函數的描述或在其他SQL代碼任務上進行微調。它最初發佈於 此倉庫 。

🚀 快速開始

本模型可用於生成SQL函數的描述，或在其他SQL代碼任務上進行微調。以下是使用Transformers庫的SummarizationPipeline生成SQL函數文檔的示例：

from transformers import AutoTokenizer, AutoModelWithLMHead, SummarizationPipeline

pipeline = SummarizationPipeline(
    model=AutoModelWithLMHead.from_pretrained("SEBIS/code_trans_t5_base_source_code_summarization_sql_transfer_learning_finetune"),
    tokenizer=AutoTokenizer.from_pretrained("SEBIS/code_trans_t5_base_source_code_summarization_sql_transfer_learning_finetune", skip_special_tokens=True),
    device=0
)

tokenized_code =  "select time ( col0 ) from tab0"
pipeline([tokenized_code])

你可以在 colab notebook 中運行此示例。

✨ 主要特性

• 基於t5-base模型架構，擁有自己的SentencePiece詞彙模型。
• 在軟件開發領域的7個無監督數據集上進行了遷移學習預訓練。
• 針對SQL代碼片段的源代碼摘要任務進行了微調。

📦 安裝指南

文檔未提及具體安裝步驟，可參考 此倉庫 獲取相關信息。

💻 使用示例

基礎用法

from transformers import AutoTokenizer, AutoModelWithLMHead, SummarizationPipeline

pipeline = SummarizationPipeline(
    model=AutoModelWithLMHead.from_pretrained("SEBIS/code_trans_t5_base_source_code_summarization_sql_transfer_learning_finetune"),
    tokenizer=AutoTokenizer.from_pretrained("SEBIS/code_trans_t5_base_source_code_summarization_sql_transfer_learning_finetune", skip_special_tokens=True),
    device=0
)

tokenized_code =  "select time ( col0 ) from tab0"
pipeline([tokenized_code])

📚 詳細文檔

模型描述

此CodeTrans模型基於t5-base模型，擁有自己的SentencePiece詞彙模型。它在軟件開發領域的7個無監督數據集上進行了遷移學習預訓練，然後針對SQL代碼片段的源代碼摘要任務進行了微調。

預期用途與限制

該模型可用於生成SQL函數的描述，或在其他SQL代碼任務上進行微調。它可以處理未解析和未分詞的SQL代碼，但如果SQL代碼經過分詞處理，性能會更好。

訓練數據

有監督訓練任務的數據集可從 此處 下載。

訓練過程

遷移學習預訓練

該模型在單個TPU Pod V3 - 8上總共訓練了500,000步，使用序列長度為512（批量大小為4096）。它總共有約2.2億個參數，採用編碼器 - 解碼器架構進行訓練。預訓練使用的優化器是AdaFactor，學習率採用逆平方根調度。

微調

該模型隨後在單個TPU Pod V2 - 8上針對僅包含SQL代碼的數據集進行了500步的微調，使用序列長度為512（批量大小為256）。

評估結果

對於源代碼摘要任務，不同模型在不同編程語言上取得了以下結果（以BLEU分數衡量）：

🔧 技術細節

• 模型基於t5-base架構，採用編碼器 - 解碼器結構。
• 使用SentencePiece進行詞彙處理。
• 遷移學習預訓練在7個無監督數據集上進行，微調在SQL代碼摘要任務上進行。

📄 許可證

文檔未提及許可證信息。

由 Ahmed Elnaggar | LinkedIn 和 Wei Ding | LinkedIn 創建