Code Trans T5 Small Source Code Summarization Sql

🚀 SQLソースコード要約用CodeTransモデル

t5 smallモデルアーキテクチャを使用して、プログラミング言語SQLで事前学習されたモデルです。このモデルは、このリポジトリで最初に公開されました。このモデルは、トークン化されたSQLコード関数で学習されており、トークン化されたSQL関数で最も良い結果を得られます。

✨ 主な機能

このCodeTransモデルは、t5-smallモデルをベースにしています。独自のSentencePiece語彙モデルを持ち、ソースコード要約SQLデータセットで単一タスク学習を行っています。

📚 ドキュメント

想定される用途と制限

このモデルは、SQL関数の説明を生成するために使用できるか、他のSQLコードタスクで微調整することができます。解析されていない、トークン化されていないSQLコードにも使用できます。ただし、SQLコードがトークン化されている場合、パフォーマンスが向上するはずです。

使い方

TransformersのSummarizationPipelineを使用して、このモデルを使ってSQL関数のドキュメントを生成する方法は次の通りです。

from transformers import AutoTokenizer, AutoModelWithLMHead, SummarizationPipeline

pipeline = SummarizationPipeline(
    model=AutoModelWithLMHead.from_pretrained("SEBIS/code_trans_t5_small_source_code_summarization_sql"),
    tokenizer=AutoTokenizer.from_pretrained("SEBIS/code_trans_t5_small_source_code_summarization_sql", skip_special_tokens=True),
    device=0
)

tokenized_code = "select time ( col0 ) from tab0"
pipeline([tokenized_code])

この例をcolab notebookで実行してください。

学習データ

教師付き学習タスクのデータセットは、このリンクからダウンロードできます。

評価結果

ソースコード要約タスクにおいて、異なるモデルが異なるプログラミング言語で次の結果（BLEUスコア）を達成しています。

テスト結果:

Created by Ahmed Elnaggar | LinkedIn and Wei Ding | LinkedIn