Code Trans T5 Small Commit Generation Transfer Learning Finetune

🚀 CodeTransモデルによるGitコミットメッセージ生成

このモデルは、t5 smallモデルアーキテクチャを使用してGitコミットに関する事前学習を行ったものです。最初はthis repositoryで公開されました。このモデルはトークン化されたGitコミットで学習されており、トークン化されたGitコミットで最も良い性能を発揮します。

✨ 主な機能

モデルの説明

このCodeTransモデルはt5-smallモデルに基づいています。独自のSentencePiece語彙モデルを持ち、ソフトウェア開発分野の7つの教師なしデータセットで転移学習の事前学習を行いました。その後、Javaのコミット変更に対するGitコミットメッセージ生成タスクでファインチューニングされています。

想定される用途と制限

このモデルは、Gitコミットの変更に対するGitコミットメッセージの生成や、他の関連タスクでのファインチューニングに使用できます。解析されていない、トークン化されていないコミット変更にも使用できますが、変更がトークン化されている場合は、性能が向上するはずです。

📦 インストール

このセクションでは、インストールに関する具体的なコマンドが提供されていないため、省略します。

💻 使用例

基本的な使用法

以下は、TransformersのSummarizationPipelineを使用してこのモデルでGitコミットメッセージを生成する方法です。

from transformers import AutoTokenizer, AutoModelWithLMHead, SummarizationPipeline

pipeline = SummarizationPipeline(
    model=AutoModelWithLMHead.from_pretrained("SEBIS/code_trans_t5_small_commit_generation_transfer_learning_finetune"),
    tokenizer=AutoTokenizer.from_pretrained("SEBIS/code_trans_t5_small_commit_generation_transfer_learning_finetune", skip_special_tokens=True),
    device=0
)

tokenized_code = "new file mode 100644 index 000000000 . . 892fda21b Binary files / dev / null and b / src / plugins / gateway / lib / joscar . jar differ"
pipeline([tokenized_code])

この例をcolab notebookで実行してみてください。

📚 ドキュメント

学習データ

教師あり学習タスクのデータセットはこちらのリンクからダウンロードできます。

学習手順

転移学習の事前学習

このモデルは、シーケンス長512（バッチサイズ4096）を使用して、合計500,000ステップ、単一のTPU Pod V3 - 8で学習されました。合計で約220Mのパラメータを持ち、エンコーダ - デコーダアーキテクチャを使用して学習されました。事前学習には、逆平方根学習率スケジュールを持つAdaFactorオプティマイザが使用されました。

ファインチューニング

このモデルは、シーケンス長512（バッチサイズ256）を使用して、コミット変更のみを含むデータセットを使用して、合計10,000ステップ、単一のTPU Pod V2 - 8でファインチューニングされました。

評価結果

Gitコミットメッセージ生成タスクにおいて、異なるモデルが異なるプログラミング言語で次の結果（BLEUスコア）を達成しています。

Created by Ahmed Elnaggar | LinkedIn and Wei Ding | LinkedIn