Code Trans T5 Base Program Synthese

🚀 CodeTransモデルによるプログラム合成

このモデルは、t5 baseモデルアーキテクチャを使用し、プログラミング言語LispにインスパイアされたDSLで事前学習されたものです。最初はthis repositoryで公開されました。

✨ 主な機能

このCodeTransモデルは、人間の言語による説明タスクに基づいて、LispにインスパイアされたDSLコードを生成することができます。

📦 インストール

このモデルを使用するには、必要なライブラリをインストールする必要があります。以下のコードでインストールできます。

from transformers import AutoTokenizer, AutoModelWithLMHead, SummarizationPipeline

💻 使用例

基本的な使用法

以下は、TransformersのSummarizationPipelineを使用して、このモデルでLispにインスパイアされたDSLコードを生成する方法です。

from transformers import AutoTokenizer, AutoModelWithLMHead, SummarizationPipeline

pipeline = SummarizationPipeline(
    model=AutoModelWithLMHead.from_pretrained("SEBIS/code_trans_t5_base_program_synthese"),
    tokenizer=AutoTokenizer.from_pretrained("SEBIS/code_trans_t5_base_program_synthese", skip_special_tokens=True),
    device=0
)

tokenized_code = "you are given an array of numbers a and a number b , compute the difference of elements in a and b"
pipeline([tokenized_code])

この例は、colab notebookで実行できます。

📚 ドキュメント

モデルの説明

このCodeTransモデルは、t5-baseモデルに基づいています。独自のSentencePiece語彙モデルを持ち、プログラム合成データセットで単一タスクのトレーニングを行っています。

想定される用途と制限

このモデルは、人間の言語による説明タスクに基づいて、LispにインスパイアされたDSLコードを生成するために使用できます。

🔧 技術詳細

トレーニングデータ

教師付きトレーニングタスクのデータセットは、こちらのリンクからダウンロードできます。

評価結果

コードドキュメントタスクにおいて、異なるモデルが異なるプログラミング言語で次のような結果（BLEUスコア）を達成しています。

📄 ライセンス

Created by Ahmed Elnaggar | LinkedIn and Wei Ding | LinkedIn