Gpyt

🚀 GPyT代碼生成模型

GPyT是一個基於GitHub上的Python代碼從零開始訓練（非微調）的GPT2模型。總體而言，訓練數據包含約80GB的純Python代碼，當前的GPyT模型僅對這些數據進行了2個輪次的訓練，因此持續訓練和/或微調可能會極大地提升其性能。

🚀 快速開始

GPyT模型的輸入為代碼，上下文長度最長為1024，其中換行符會被替換為<N> 。

基礎用法

from transformers import AutoTokenizer, AutoModelWithLMHead

tokenizer = AutoTokenizer.from_pretrained("Sentdex/GPyT")
model = AutoModelWithLMHead.from_pretrained("Sentdex/GPyT")

# copy and paste some code in here
inp = """import"""

newlinechar = "<N>"
converted = inp.replace("\n", newlinechar)
tokenized = tokenizer.encode(converted, return_tensors='pt')
resp = model.generate(tokenized)

decoded = tokenizer.decode(resp[0])
reformatted = decoded.replace("<N>","\n")

print(reformatted)

上述代碼運行後可能會輸出：

import numpy as np
import pytest

import pandas as pd<N

更多示例

該模型的功能遠不止生成導入語句。若想了解更多示例並深入瞭解模型的能力，請訪問：https://pythonprogramming.net/GPT-python-code-transformer-model-GPyT/

⚠️ 注意事項

⚠️ 重要提示

1. 此模型僅用於教育和研究目的，請不要完全信任模型的輸出結果。
2. 模型很可能會原樣輸出它所見過的代碼。如果您打算實際使用生成的代碼，需要自行確定其許可情況。
3. 所有Python代碼均直接從GitHub上獲取，這意味著其中包含Python 2和Python 3的代碼，還存在其他細微差異，例如縮進在某些情況下為2個空格，而在其他情況下為4個空格等。
4. 基於以上情況，生成的代碼可能會執行或建議執行任何操作。運行生成的代碼需自行承擔風險，因為它可能是任何內容。

📄 許可證

本項目採用MIT許可證。