PULI GPT 3SX GGML

🚀 PULI GPT 3SX - GGML

本项目提供了 NYTK的PULI GPT 3SX 的GPT - NeoX GGML格式模型文件。这些文件可用于特定工具进行文本生成等操作。

🚀 快速开始

模型信息

• 模型创建者: NYTK
• 原始模型: PULI GPT 3SX

模型仓库

• 支持GPU推理的GPTQ模型，提供多种量化参数选项
• 支持CPU + GPU推理的2、3、4、5、6和8位GGML模型
• NYTK原始未量化的pytorch格式fp16模型，用于GPU推理和进一步转换

提示模板

{prompt}

✨ 主要特性

模型特性

• 本仓库包含的GGML文件是针对NYTK的PULI GPT 3SX模型转换而来的GPT - NeoX GGML格式。
• 这些GGML文件不兼容llama.cpp、text - generation - webui或llama - cpp - python。

可用工具

这些文件可与以下工具配合使用：

• KoboldCpp：一个基于llama.cpp的强大推理引擎，支持全GPU加速，且具有良好的用户界面。
• LM Studio：一个功能齐全的本地GUI，用于在Windows和macOS上进行GGML推理。
• LoLLMs - WebUI：一个支持几乎所有后端的Web UI。使用ctransformers后端可支持此模型。
• ctransformers：用于Python代码，包括对LangChain的支持。
• rustformers的llm
• ggml 提供的示例 gpt - neox 二进制文件

📦 安装指南

文档未提供具体安装步骤，暂不展示。

💻 使用示例

基础用法

from transformers import GPTNeoXForCausalLM, AutoTokenizer

model = GPTNeoXForCausalLM.from_pretrained("NYTK/PULI-GPT-3SX")
tokenizer = AutoTokenizer.from_pretrained("NYTK/PULI-GPT-3SX")
prompt = "Elmesélek egy történetet a nyelvtechnológiáról."
input_ids = tokenizer(prompt, return_tensors="pt").input_ids

gen_tokens = model.generate(
    input_ids,
    do_sample=True,
    temperature=0.9,
    max_length=100,
)

gen_text = tokenizer.batch_decode(gen_tokens)[0]
print(gen_text)

高级用法

from transformers import pipeline, GPTNeoXForCausalLM, AutoTokenizer

model = GPTNeoXForCausalLM.from_pretrained("NYTK/PULI-GPT-3SX")
tokenizer = AutoTokenizer.from_pretrained("NYTK/PULI-GPT-3SX")
prompt = "Elmesélek egy történetet a nyelvtechnológiáról."
generator = pipeline(task="text-generation", model=model, tokenizer=tokenizer)

print(generator(prompt)[0]["generated_text"])

📚 详细文档

模型信息表格

模型限制

• 最大序列长度 max_seq_length = 2048

引用说明

如果您使用此模型，请引用以下论文：

@inproceedings {yang-puli,
    title = {Jönnek a nagyok! BERT-Large, GPT-2 és GPT-3 nyelvmodellek magyar nyelvre},
    booktitle = {XIX. Magyar Számítógépes Nyelvészeti Konferencia (MSZNY 2023)},
    year = {2023},
    publisher = {Szegedi Tudományegyetem, Informatikai Intézet},
    address = {Szeged, Hungary},
    author = {Yang, Zijian Győző and Dodé, Réka and Ferenczi, Gergő and Héja, Enikő and Jelencsik-Mátyus, Kinga and Kőrös, Ádám and Laki, László János and Ligeti-Nagy, Noémi and Vadász, Noémi and Váradi, Tamás},
    pages = {247--262}
}

提供的文件

注意：上述RAM数字假设没有进行GPU卸载。如果将层卸载到GPU，这将减少RAM使用，转而使用VRAM。

🔧 技术细节

文档未提供具体技术细节，暂不展示。

📄 许可证

本模型使用 cc - by - nc - 4.0 许可证。

Discord

如需进一步支持，以及讨论这些模型和人工智能相关话题，请加入我们的： TheBloke AI的Discord服务器

感谢与贡献

感谢 chirper.ai 团队！

很多人询问是否可以进行贡献。我喜欢提供模型并帮助他人，也希望能有更多时间投入其中，同时开展新的项目，如微调/训练。

如果您有能力且愿意贡献，我将不胜感激，这将帮助我继续提供更多模型，并开展新的人工智能项目。

捐赠者将在所有AI/大语言模型/模型问题和请求上获得优先支持，访问私人Discord房间，以及其他福利。

• Patreon: https://patreon.com/TheBlokeAI
• Ko - Fi: https://ko - fi.com/TheBlokeAI

特别感谢：来自CarbonQuill的Luke、Aemon Algiz。

Patreon特别提及：Ajan Kanaga、David Ziegler、Raymond Fosdick、SuperWojo、Sam、webtim、Steven Wood、knownsqashed、Tony Hughes、Junyu Yang、J、Olakabola、Dan Guido、Stephen Murray、John Villwock、vamX、William Sang、Sean Connelly、LangChain4j、Olusegun Samson、Fen Risland、Derek Yates、Karl Bernard、transmissions 11、Trenton Dambrowitz、Pieter、Preetika Verma、Swaroop Kallakuri、Andrey、Slarti、Jonathan Leane、Michael Levine、Kalila、Joseph William Delisle、Rishabh Srivastava、Deo Leter、Luke Pendergrass、Spencer Kim、Geoffrey Montalvo、Thomas Belote、Jeffrey Morgan、Mandus、ya boyyy、Matthew Berman、Magnesian、Ai Maven、senxiiz、Alps Aficionado、Luke @flexchar、Raven Klaugh、Imad Khwaja、Gabriel Puliatti、Johann - Peter Hartmann、usrbinkat、Spiking Neurons AB、Artur Olbinski、chris gileta、danny、Willem Michiel、WelcomeToTheClub、Deep Realms、alfie_i、Dave、Leonard Tan、NimbleBox.ai、Randy H、Daniel P. Andersen、Pyrater、Will Dee、Elle、Space Cruiser、Gabriel Tamborski、Asp the Wyvern、Illia Dulskyi、Nikolai Manek、Sid、Brandon Frisco、Nathan LeClaire、Edmond Seymore、Enrico Ros、Pedro Madruga、Eugene Pentland、John Detwiler、Mano Prime、Stanislav Ovsiannikov、Alex、Vitor Caleffi、K、biorpg、Michael Davis、Lone Striker、Pierre Kircher、theTransient、Fred von Graf、Sebastain Graf、Vadim、Iucharbius、Clay Pascal、Chadd、Mesiah Bishop、terasurfer、Rainer Wilmers、Alexandros Triantafyllidis、Stefan Sabev、Talal Aujan、Cory Kujawski、Viktor Bowallius、subjectnull、ReadyPlayerEmma、zynix

感谢所有慷慨的赞助者和捐赠者！