🚀 CodeTransモデルによるAPI推薦生成
このモデルは、T5ベースモデルアーキテクチャを使用したAPI推薦生成のための事前学習済みモデルです。最初はthis repositoryで公開されました。
🚀 クイックスタート
このモデルは、T5ベースモデルアーキテクチャを用いてAPI推薦生成を行う事前学習済みモデルです。JavaプログラミングタスクのAPI使用方法を生成するために利用できます。
✨ 主な機能
- T5ベースモデルアーキテクチャを使用したAPI推薦生成。
- JavaプログラミングタスクのAPI使用方法を生成可能。
📦 インストール
このモデルを使用するには、以下のPythonコードを実行して必要なライブラリをインストールします。
from transformers import AutoTokenizer, AutoModelWithLMHead, SummarizationPipeline
pipeline = SummarizationPipeline(
model=AutoModelWithLMHead.from_pretrained("SEBIS/code_trans_t5_base_api_generation"),
tokenizer=AutoTokenizer.from_pretrained("SEBIS/code_trans_t5_base_api_generation", skip_special_tokens=True),
device=0
)
💻 使用例
基本的な使用法
以下は、このモデルを使用してJava関数のドキュメントを生成する方法です。
from transformers import AutoTokenizer, AutoModelWithLMHead, SummarizationPipeline
pipeline = SummarizationPipeline(
model=AutoModelWithLMHead.from_pretrained("SEBIS/code_trans_t5_base_api_generation"),
tokenizer=AutoTokenizer.from_pretrained("SEBIS/code_trans_t5_base_api_generation", skip_special_tokens=True),
device=0
)
tokenized_code = "parse the uses licence node of this package , if any , and returns the license definition if theres"
pipeline([tokenized_code])
この例はcolab notebookで実行できます。
📚 ドキュメント
モデルの説明
このCodeTransモデルは、t5-base
モデルに基づいています。独自のSentencePiece語彙モデルを持っており、Api Recommendation Generationデータセットで単一タスクのトレーニングを行っています。
想定される用途と制限
このモデルは、JavaプログラミングタスクのAPI使用方法を生成するために使用できます。
🔧 技術詳細
トレーニングデータ
教師付きトレーニングタスクのデータセットは、Linkからダウンロードできます。
評価結果
コードドキュメントタスクにおいて、異なるモデルが異なるプログラミング言語で次のような結果(BLEUスコア)を達成しています。
言語 / モデル |
Java |
CodeTrans-ST-Small |
68.71 |
CodeTrans-ST-Base |
70.45 |
CodeTrans-TF-Small |
68.90 |
CodeTrans-TF-Base |
72.11 |
CodeTrans-TF-Large |
73.26 |
CodeTrans-MT-Small |
58.43 |
CodeTrans-MT-Base |
67.97 |
CodeTrans-MT-Large |
72.29 |
CodeTrans-MT-TF-Small |
69.29 |
CodeTrans-MT-TF-Base |
72.89 |
CodeTrans-MT-TF-Large |
73.39 |
State of the art |
54.42 |
📄 ライセンス
このモデルの作成者はAhmed Elnaggar | LinkedIn と Wei Ding | LinkedInです。