Code Trans T5 Base Api Generation Multitask Finetune

🚀 CodeTransモデルによるAPI推薦生成

このモデルは、t5 baseモデルアーキテクチャを使用したAPI推薦生成用の事前学習済みモデルです。最初はthis repositoryで公開されました。

🚀 クイックスタート

このモデルは、JavaプログラミングタスクのAPI使用方法を生成するために使用できます。

✨ 主な機能

• このCodeTransモデルはt5-baseモデルに基づいており、独自のSentencePiece語彙モデルを持っています。
• ソフトウェア開発ドメインの13の教師ありタスクと7つの教師なしデータセットでマルチタスク学習を行い、その後Java APIのAPI推薦生成タスクでファインチューニングされています。

📦 インストール

このモデルを使用するには、以下のライブラリが必要です。

from transformers import AutoTokenizer, AutoModelWithLMHead, SummarizationPipeline

💻 使用例

基本的な使用法

from transformers import AutoTokenizer, AutoModelWithLMHead, SummarizationPipeline

pipeline = SummarizationPipeline(
    model=AutoModelWithLMHead.from_pretrained("SEBIS/code_trans_t5_base_api_generation_multitask_finetune"),
    tokenizer=AutoTokenizer.from_pretrained("SEBIS/code_trans_t5_base_api_generation_multitask_finetune", skip_special_tokens=True),
    device=0
)

tokenized_code = "parse the uses licence node of this package , if any , and returns the license definition if theres"
pipeline([tokenized_code])

この例はcolab notebookで実行できます。

📚 ドキュメント

モデルの詳細

このCodeTransモデルはt5-baseモデルに基づいており、独自のSentencePiece語彙モデルを持っています。ソフトウェア開発ドメインの13の教師ありタスクと7つの教師なしデータセットでマルチタスク学習を行い、その後Java APIのAPI推薦生成タスクでファインチューニングされています。

意図された用途と制限

このモデルは、JavaプログラミングタスクのAPI使用方法を生成するために使用できます。

学習データ

教師あり学習タスクのデータセットはLinkからダウンロードできます。

学習手順

マルチタスク事前学習

このモデルは、シーケンス長512（バッチサイズ4096）を使用して、合計500,000ステップ、単一のTPU Pod V3 - 8で学習されました。総計約220Mのパラメータを持ち、エンコーダ - デコーダアーキテクチャを使用して学習されました。事前学習にはAdaFactorオプティマイザと逆平方根学習率スケジュールが使用されました。

ファインチューニング

このモデルは、シーケンス長512（バッチサイズ256）を使用して、合計320,000ステップ、単一のTPU Pod V2 - 8で、API推薦生成データのみを含むデータセットを使用してファインチューニングされました。

評価結果

コードドキュメントタスクにおいて、異なるモデルが異なるプログラミング言語で以下の結果（BLEUスコア）を達成しています。

Created by Ahmed Elnaggar | LinkedIn and Wei Ding | LinkedIn