Code Trans T5 Base Commit Generation

🚀 CodeTransモデルによるGitコミットメッセージ生成

このモデルは、t5 baseモデルアーキテクチャを使用してGitコミットに関する事前学習を行ったものです。初めて公開されたのは、このリポジトリです。このモデルはトークン化されたGitコミットに対して学習されており、トークン化されたGitコミットで最も良い性能を発揮します。

✨ 主な機能

モデルの説明

このCodeTransモデルはt5-baseモデルをベースにしています。独自のSentencePiece語彙モデルを持っており、Gitコミットメッセージ生成データセットに対して単一タスク学習を行っています。

想定される用途と制限

このモデルは、Gitコミットの変更内容に対するコミットメッセージの生成や、他の関連タスクへの微調整に使用できます。解析されていない、トークン化されていないコミット変更に対しても使用できますが、変更内容がトークン化されている場合、性能は向上するはずです。

📦 インストール

このセクションではインストールに関する具体的なコマンドが提供されていないため、スキップします。

💻 使用例

基本的な使用法

from transformers import AutoTokenizer, AutoModelWithLMHead, SummarizationPipeline

pipeline = SummarizationPipeline(
    model=AutoModelWithLMHead.from_pretrained("SEBIS/code_trans_t5_base_commit_generation"),
    tokenizer=AutoTokenizer.from_pretrained("SEBIS/code_trans_t5_base_commit_generation", skip_special_tokens=True),
    device=0
)

tokenized_code = "new file mode 100644 index 000000000 . . 892fda21b Binary files / dev / null and b / src / plugins / gateway / lib / joscar . jar differ"
pipeline([tokenized_code])

この例は、colab notebookで実行できます。

📚 ドキュメント

トレーニングデータ

教師付き学習タスクのデータセットは、このリンクからダウンロードできます。

評価結果

Gitコミットメッセージ生成タスクにおいて、異なるモデルが異なるプログラミング言語に対して次のような結果（BLEUスコア）を達成しています。

Created by Ahmed Elnaggar | LinkedIn and Wei Ding | LinkedIn