Gpyt

🚀 GPyT

GPyTは、GitHubのPythonコードを使用してゼロから（ファインチューニングせずに）学習されたGPT2モデルです。全体で約80GBの純粋なPythonコードを使用しており、現在のGPyTモデルはこのデータを2エポックだけ学習したものです。したがって、継続的な学習やファインチューニングによって大きく性能向上する可能性があります。

改行は <N> で置き換えられます。

モデルへの入力はコードで、コンテキスト長は最大1024で、改行は <N> で置き換えられます。

🚀 クイックスタート

このモデルの使用例を以下に示します。

基本的な使用法

from transformers import AutoTokenizer, AutoModelWithLMHead

tokenizer = AutoTokenizer.from_pretrained("Sentdex/GPyT")
model = AutoModelWithLMHead.from_pretrained("Sentdex/GPyT")

# copy and paste some code in here
inp = """import"""

newlinechar = "<N>"
converted = inp.replace("\n", newlinechar)
tokenized = tokenizer.encode(converted, return_tensors='pt')
resp = model.generate(tokenized)

decoded = tokenizer.decode(resp[0])
reformatted = decoded.replace("<N>","\n")

print(reformatted)

このコードを実行すると、以下のような出力が得られます。

import numpy as np
import pytest

import pandas as pd<N

ただし、このモデルは単なるインポートだけでなく、多くのことができます。より多くの使用例やモデルの機能については、以下のリンクを参照してください。 https://pythonprogramming.net/GPT-python-code-transformer-model-GPyT/

📄 ライセンス

このモデルはMITライセンスの下で提供されています。

⚠️ 重要提示

1. このモデルは教育および研究目的のみを意図しています。モデルの出力を信頼しないでください。
2. このモデルは、見たコードをほぼそのまま返す可能性が非常に高いです。生成されたコードを実際に使用する場合は、ライセンスを確認する必要があります。
3. すべてのPythonコードはGitHubから無差別に収集されました。これは、含まれるコードにはPython 2と3の両方があり、タブが2スペースまたは4スペースであるなど、より微妙な違いがあることを意味します。
4. 上記のことから、生成されたコードは何をするか、または何を提案するかはわかりません。生成されたコードを実行する場合は、自己責任で行ってください。何が起こるかわからないからです。