Code Trans T5 Base Api Generation Transfer Learning Finetune

🚀 CodeTransモデルによるAPI推薦生成

このモデルは、t5 baseモデルアーキテクチャを使用したAPI推薦生成用の事前学習モデルです。最初はthisリポジトリで公開されました。

🚀 クイックスタート

このCodeTransモデルは、t5-baseモデルをベースにしています。独自のSentencePiece語彙モデルを持ち、ソフトウェア開発ドメインの7つの教師なしデータセットで転移学習の事前学習を行っています。その後、Java APIのAPI推薦生成タスクでファインチューニングされています。

✨ 主な機能

このモデルは、JavaプログラミングタスクのAPI使用方法を生成するために使用できます。

📦 インストール

このモデルを使用するには、Transformersライブラリが必要です。以下のコマンドでインストールできます。

pip install transformers

💻 使用例

基本的な使用法

from transformers import AutoTokenizer, AutoModelWithLMHead, SummarizationPipeline

pipeline = SummarizationPipeline(
    model=AutoModelWithLMHead.from_pretrained("SEBIS/code_trans_t5_base_api_generation_transfer_learning_finetune"),
    tokenizer=AutoTokenizer.from_pretrained("SEBIS/code_trans_t5_base_api_generation_transfer_learning_finetune", skip_special_tokens=True),
    device=0
)

tokenized_code = "parse the uses licence node of this package , if any , and returns the license definition if theres"
pipeline([tokenized_code])

この例は、colabノートブックで実行できます。

📚 ドキュメント

モデルの説明

このCodeTransモデルは、t5-baseモデルをベースにしています。独自のSentencePiece語彙モデルを持ち、ソフトウェア開発ドメインの7つの教師なしデータセットで転移学習の事前学習を行っています。その後、Java APIのAPI推薦生成タスクでファインチューニングされています。

想定される用途と制限

このモデルは、JavaプログラミングタスクのAPI使用方法を生成するために使用できます。

トレーニングデータ

教師ありトレーニングタスクのデータセットは、こちらのリンクからダウンロードできます。

トレーニング手順

転移学習の事前学習

このモデルは、シーケンス長512（バッチサイズ4096）を使用して、合計240,000ステップ、単一のTPU Pod V3-8でトレーニングされました。合計で約220Mのパラメータを持ち、エンコーダ-デコーダアーキテクチャを使用してトレーニングされました。使用されるオプティマイザは、事前学習用の逆平方根学習率スケジュールを持つAdaFactorです。

ファインチューニング

このモデルは、シーケンス長512（バッチサイズ256）を使用して、API推薦生成データのみを含むデータセットを使用して、合計1,400,000ステップ、単一のTPU Pod V3-8でファインチューニングされました。

評価結果

コードドキュメントタスクについて、異なるモデルが異なるプログラミング言語で次のような結果（BLEUスコア）を達成しています。

テスト結果 :

Created by Ahmed Elnaggar | LinkedIn and Wei Ding | LinkedIn