PULI GPT 3SX GGML

🚀 PULI GPT 3SX - GGML

本項目提供了 NYTK的PULI GPT 3SX 的GPT - NeoX GGML格式模型文件。這些文件可用於特定工具進行文本生成等操作。

🚀 快速開始

模型信息

• 模型創建者: NYTK
• 原始模型: PULI GPT 3SX

模型倉庫

• 支持GPU推理的GPTQ模型，提供多種量化參數選項
• 支持CPU + GPU推理的2、3、4、5、6和8位GGML模型
• NYTK原始未量化的pytorch格式fp16模型，用於GPU推理和進一步轉換

提示模板

{prompt}

✨ 主要特性

模型特性

• 本倉庫包含的GGML文件是針對NYTK的PULI GPT 3SX模型轉換而來的GPT - NeoX GGML格式。
• 這些GGML文件不兼容llama.cpp、text - generation - webui或llama - cpp - python。

可用工具

這些文件可與以下工具配合使用：

• KoboldCpp：一個基於llama.cpp的強大推理引擎，支持全GPU加速，且具有良好的用戶界面。
• LM Studio：一個功能齊全的本地GUI，用於在Windows和macOS上進行GGML推理。
• LoLLMs - WebUI：一個支持幾乎所有後端的Web UI。使用ctransformers後端可支持此模型。
• ctransformers：用於Python代碼，包括對LangChain的支持。
• rustformers的llm
• ggml 提供的示例 gpt - neox 二進制文件

📦 安裝指南

文檔未提供具體安裝步驟，暫不展示。

💻 使用示例

基礎用法

from transformers import GPTNeoXForCausalLM, AutoTokenizer

model = GPTNeoXForCausalLM.from_pretrained("NYTK/PULI-GPT-3SX")
tokenizer = AutoTokenizer.from_pretrained("NYTK/PULI-GPT-3SX")
prompt = "Elmesélek egy történetet a nyelvtechnológiáról."
input_ids = tokenizer(prompt, return_tensors="pt").input_ids

gen_tokens = model.generate(
    input_ids,
    do_sample=True,
    temperature=0.9,
    max_length=100,
)

gen_text = tokenizer.batch_decode(gen_tokens)[0]
print(gen_text)

高級用法

from transformers import pipeline, GPTNeoXForCausalLM, AutoTokenizer

model = GPTNeoXForCausalLM.from_pretrained("NYTK/PULI-GPT-3SX")
tokenizer = AutoTokenizer.from_pretrained("NYTK/PULI-GPT-3SX")
prompt = "Elmesélek egy történetet a nyelvtechnológiáról."
generator = pipeline(task="text-generation", model=model, tokenizer=tokenizer)

print(generator(prompt)[0]["generated_text"])

📚 詳細文檔

模型信息表格

模型限制

• 最大序列長度 max_seq_length = 2048

引用說明

如果您使用此模型，請引用以下論文：

@inproceedings {yang-puli,
    title = {Jönnek a nagyok! BERT-Large, GPT-2 és GPT-3 nyelvmodellek magyar nyelvre},
    booktitle = {XIX. Magyar Számítógépes Nyelvészeti Konferencia (MSZNY 2023)},
    year = {2023},
    publisher = {Szegedi Tudományegyetem, Informatikai Intézet},
    address = {Szeged, Hungary},
    author = {Yang, Zijian Győző and Dodé, Réka and Ferenczi, Gergő and Héja, Enikő and Jelencsik-Mátyus, Kinga and Kőrös, Ádám and Laki, László János and Ligeti-Nagy, Noémi and Vadász, Noémi and Váradi, Tamás},
    pages = {247--262}
}

提供的文件

注意：上述RAM數字假設沒有進行GPU卸載。如果將層卸載到GPU，這將減少RAM使用，轉而使用VRAM。

🔧 技術細節

文檔未提供具體技術細節，暫不展示。

📄 許可證

本模型使用 cc - by - nc - 4.0 許可證。

Discord

如需進一步支持，以及討論這些模型和人工智能相關話題，請加入我們的： TheBloke AI的Discord服務器

感謝與貢獻

感謝 chirper.ai 團隊！

很多人詢問是否可以進行貢獻。我喜歡提供模型並幫助他人，也希望能有更多時間投入其中，同時開展新的項目，如微調/訓練。

如果您有能力且願意貢獻，我將不勝感激，這將幫助我繼續提供更多模型，並開展新的人工智能項目。

捐贈者將在所有AI/大語言模型/模型問題和請求上獲得優先支持，訪問私人Discord房間，以及其他福利。

• Patreon: https://patreon.com/TheBlokeAI
• Ko - Fi: https://ko - fi.com/TheBlokeAI

特別感謝：來自CarbonQuill的Luke、Aemon Algiz。

Patreon特別提及：Ajan Kanaga、David Ziegler、Raymond Fosdick、SuperWojo、Sam、webtim、Steven Wood、knownsqashed、Tony Hughes、Junyu Yang、J、Olakabola、Dan Guido、Stephen Murray、John Villwock、vamX、William Sang、Sean Connelly、LangChain4j、Olusegun Samson、Fen Risland、Derek Yates、Karl Bernard、transmissions 11、Trenton Dambrowitz、Pieter、Preetika Verma、Swaroop Kallakuri、Andrey、Slarti、Jonathan Leane、Michael Levine、Kalila、Joseph William Delisle、Rishabh Srivastava、Deo Leter、Luke Pendergrass、Spencer Kim、Geoffrey Montalvo、Thomas Belote、Jeffrey Morgan、Mandus、ya boyyy、Matthew Berman、Magnesian、Ai Maven、senxiiz、Alps Aficionado、Luke @flexchar、Raven Klaugh、Imad Khwaja、Gabriel Puliatti、Johann - Peter Hartmann、usrbinkat、Spiking Neurons AB、Artur Olbinski、chris gileta、danny、Willem Michiel、WelcomeToTheClub、Deep Realms、alfie_i、Dave、Leonard Tan、NimbleBox.ai、Randy H、Daniel P. Andersen、Pyrater、Will Dee、Elle、Space Cruiser、Gabriel Tamborski、Asp the Wyvern、Illia Dulskyi、Nikolai Manek、Sid、Brandon Frisco、Nathan LeClaire、Edmond Seymore、Enrico Ros、Pedro Madruga、Eugene Pentland、John Detwiler、Mano Prime、Stanislav Ovsiannikov、Alex、Vitor Caleffi、K、biorpg、Michael Davis、Lone Striker、Pierre Kircher、theTransient、Fred von Graf、Sebastain Graf、Vadim、Iucharbius、Clay Pascal、Chadd、Mesiah Bishop、terasurfer、Rainer Wilmers、Alexandros Triantafyllidis、Stefan Sabev、Talal Aujan、Cory Kujawski、Viktor Bowallius、subjectnull、ReadyPlayerEmma、zynix

感謝所有慷慨的贊助者和捐贈者！