PULI GPT 3SX

🚀 PULI 3SX base (68.5億參數)

PULI 3SX base是一個匈牙利的GPT - NeoX模型，可用於文本生成任務。它擁有68.5億參數，在大量數據上進行訓練，能為匈牙利語相關的文本生成提供強大支持。

🚀 快速開始

若要進一步瞭解該模型的詳細信息，請訪問我們的演示網站。

✨ 主要特性

• 匈牙利GPT - NeoX模型（67億參數）。
• 使用EleutherAI的GPT - NeoX進行訓練，相關代碼可查看github。
• 數據集：包含363億個單詞。
• 檢查點：訓練至150000步。

🔧 技術細節

限制條件

• 最大序列長度（max_seq_length） = 2048

📚 詳細文檔

引用說明

如果您使用此模型，請引用以下論文：

@inproceedings {yang-puli,
    title = {Jönnek a nagyok! BERT-Large, GPT-2 és GPT-3 nyelvmodellek magyar nyelvre},
	booktitle = {XIX. Magyar Számítógépes Nyelvészeti Konferencia (MSZNY 2023)},
	year = {2023},
	publisher = {Szegedi Tudományegyetem, Informatikai Intézet},
	address = {Szeged, Hungary},
	author = {Yang, Zijian Győző and Dodé, Réka and Ferenczi, Gergő and Héja, Enikő and Jelencsik-Mátyus, Kinga and Kőrös, Ádám and Laki, László János and Ligeti-Nagy, Noémi and Vadász, Noémi and Váradi, Tamás},
	pages = {247--262}
}

💻 使用示例

基礎用法

from transformers import GPTNeoXForCausalLM, AutoTokenizer

model = GPTNeoXForCausalLM.from_pretrained("NYTK/PULI-GPT-3SX")
tokenizer = AutoTokenizer.from_pretrained("NYTK/PULI-GPT-3SX")
prompt = "Elmesélek egy történetet a nyelvtechnológiáról."
input_ids = tokenizer(prompt, return_tensors="pt").input_ids

gen_tokens = model.generate(
    input_ids,
    do_sample=True,
    temperature=0.9,
    max_length=100,
)

gen_text = tokenizer.batch_decode(gen_tokens)[0]
print(gen_text)

高級用法

from transformers import pipeline, GPTNeoXForCausalLM, AutoTokenizer

model = GPTNeoXForCausalLM.from_pretrained("NYTK/PULI-GPT-3SX")
tokenizer = AutoTokenizer.from_pretrained("NYTK/PULI-GPT-3SX")
prompt = "Elmesélek egy történetet a nyelvtechnológiáról."
generator = pipeline(task="text-generation", model=model, tokenizer=tokenizer)

print(generator(prompt)[0]["generated_text"])

📄 許可證

本模型使用的許可證為CC - BY - NC - 4.0。