Code Trans T5 Small Api Generation Multitask Finetune

🚀 API推薦生成用のCodeTransモデル

t5 smallモデルアーキテクチャを使用したAPI推薦生成用の事前学習モデルです。このモデルは、このリポジトリで最初に公開されました。

✨ 主な機能

このCodeTransモデルは、t5-smallモデルをベースに構築されています。独自のSentencePiece語彙モデルを持ち、ソフトウェア開発分野の13の教師ありタスクと7つの教師なしデータセットを用いたマルチタスク学習が行われています。その後、Java APIのAPI推薦生成タスクでファインチューニングされています。

📚 ドキュメント

想定される用途と制限

このモデルは、JavaプログラミングタスクのAPI使用法を生成するために使用できます。

使い方

以下は、TransformersのSummarizationPipelineを使用してこのモデルをJava関数のドキュメント生成に使用する方法です。

基本的な使用法

from transformers import AutoTokenizer, AutoModelWithLMHead, SummarizationPipeline

pipeline = SummarizationPipeline(
    model=AutoModelWithLMHead.from_pretrained("SEBIS/code_trans_t5_small_api_generation_multitask_finetune"),
    tokenizer=AutoTokenizer.from_pretrained("SEBIS/code_trans_t5_small_api_generation_multitask_finetune", skip_special_tokens=True),
    device=0
)

tokenized_code = "parse the uses licence node of this package , if any , and returns the license definition if theres"
pipeline([tokenized_code])

この例は、colabノートブックで実行できます。

訓練データ

教師あり訓練タスクのデータセットは、このリンクからダウンロードできます。

訓練手順

マルチタスク事前学習

このモデルは、シーケンス長512（バッチサイズ4096）を使用して、合計500,000ステップ、単一のTPU Pod V3 - 8で訓練されました。総計で約220Mのパラメータを持ち、エンコーダ - デコーダアーキテクチャを使用して訓練されました。事前学習には、逆平方根学習率スケジュールを持つAdaFactorオプティマイザが使用されました。

ファインチューニング

このモデルは、その後、シーケンス長512（バッチサイズ256）を使用して、API推薦生成データのみを含むデータセットを使用して、合計1,150,000ステップ、単一のTPU Pod V2 - 8でファインチューニングされました。

評価結果

コードドキュメントタスクにおいて、異なるモデルが異なるプログラミング言語で次のような結果（BLEUスコア）を達成しています。

Created by Ahmed Elnaggar | LinkedIn and Wei Ding | LinkedIn