Code Trans T5 Large Source Code Summarization Sql Transfer Learning Finetune

🚀 CodeTransモデルによるSQLソースコード要約

このモデルは、T5 Largeモデルアーキテクチャを使用して、プログラミング言語SQLで事前学習されたものです。最初に このリポジトリ で公開されました。このモデルはトークン化されたSQLコード関数で学習されており、トークン化されたSQL関数で最も良い性能を発揮します。

✨ 主な機能

📚 詳細ドキュメント

モデルの説明

このCodeTransモデルは t5-large モデルに基づいています。独自のSentencePiece語彙モデルを持っています。ソフトウェア開発ドメインの7つの教師なしデータセットで転移学習の事前学習を行い、その後、SQLコードスニペットのソースコード要約タスクで微調整されています。

想定される用途と制限

このモデルは、SQL関数の説明を生成するために使用することができ、また他のSQLコードタスクで微調整することもできます。構文解析されていない、トークン化されていないSQLコードにも使用できますが、SQLコードがトークン化されている場合、性能は向上するはずです。

📦 インストール

このモデルを使用するには、必要なライブラリをインストールする必要があります。以下のコードを使用して、必要なライブラリをインストールします。

pip install transformers

💻 使用例

基本的な使用法

以下は、TransformersのSummarizationPipelineを使用してこのモデルを使ってSQL関数のドキュメントを生成する方法です。

from transformers import AutoTokenizer, AutoModelWithLMHead, SummarizationPipeline

pipeline = SummarizationPipeline(
    model=AutoModelWithLMHead.from_pretrained("SEBIS/code_trans_t5_large_source_code_summarization_sql_transfer_learning_finetune"),
    tokenizer=AutoTokenizer.from_pretrained("SEBIS/code_trans_t5_large_source_code_summarization_sql_transfer_learning_finetune", skip_special_tokens=True),
    device=0
)

tokenized_code =  "select time ( col0 ) from tab0"
pipeline([tokenized_code])

この例を colab notebook で実行してください。

🔧 技術詳細

学習データ

教師あり学習タスクのデータセットは このリンク からダウンロードできます。

学習手順

転移学習の事前学習

このモデルは、単一のTPU Pod V3 - 8で合計240,000ステップ、シーケンス長512（バッチサイズ4096）で学習されました。総計で約220Mのパラメータを持ち、エンコーダ - デコーダアーキテクチャを使用して学習されました。事前学習には、逆平方根学習率スケジュールを持つAdaFactorオプティマイザが使用されました。

微調整

このモデルは、その後、単一のTPU Pod V2 - 8で合計200ステップ、シーケンス長512（バッチサイズ256）、SQLコードのみを含むデータセットを使用して微調整されました。

評価結果

ソースコード要約タスクにおいて、異なるモデルが異なるプログラミング言語で次のような結果（BLEUスコア）を達成しています。

Created by Ahmed Elnaggar | LinkedIn と Wei Ding | LinkedIn