Nethena 20B GPTQ

🚀 Nethena 20B - GPTQ

Nethena 20B - GPTQ 是一个经过量化处理的模型，包含多种 GPTQ 参数排列的模型文件，适用于不同的硬件和需求，可用于 GPU 推理和 CPU+GPU 推理。

项目信息

项目展示

🚀 快速开始

本项目提供了多种不同量化参数的 GPTQ 模型文件，可根据自身硬件和需求进行选择。以下是一些使用指南：

• 已知兼容的客户端/服务器：
  • text-generation-webui
  • KobaldAI United
  • LoLLMS Web UI
  • Hugging Face Text Generation Inference (TGI)

✨ 主要特性

• 提供多种 GPTQ 参数排列的模型文件，可根据硬件和需求选择最合适的量化模型。
• 每个单独的量化模型位于不同的分支，方便用户获取。
• 支持多种推理服务器和 Web UI，具有良好的兼容性。

📦 安装指南

在 text-generation-webui 中下载

• 从 main 分支下载：在“下载模型”框中输入 TheBloke/Nethena-20B-GPTQ。
• 从其他分支下载：在下载名称末尾添加 :branchname，例如 TheBloke/Nethena-20B-GPTQ:gptq-4bit-128g-actorder_True。

从命令行下载

推荐使用 huggingface-hub Python 库：

pip3 install huggingface-hub

• 下载 main 分支到名为 Nethena-20B-GPTQ 的文件夹：

mkdir Nethena-20B-GPTQ
huggingface-cli download TheBloke/Nethena-20B-GPTQ --local-dir Nethena-20B-GPTQ --local-dir-use-symlinks False

• 从不同分支下载，添加 --revision 参数：

mkdir Nethena-20B-GPTQ
huggingface-cli download TheBloke/Nethena-20B-GPTQ --revision gptq-4bit-128g-actorder_True --local-dir Nethena-20B-GPTQ --local-dir-use-symlinks False

💻 使用示例

在 text-generation-webui 中使用

1. 点击“模型”选项卡。
2. 在“下载自定义模型或 LoRA”中输入 TheBloke/Nethena-20B-GPTQ。
   • 若从特定分支下载，输入如 TheBloke/Nethena-20B-GPTQ:gptq-4bit-128g-actorder_True。
3. 点击“下载”。
4. 下载完成后显示“完成”。
5. 在左上角点击“模型”旁边的刷新图标。
6. 在“模型”下拉菜单中选择刚下载的模型：Nethena-20B-GPTQ。
7. 模型将自动加载，即可使用。
8. 若需要自定义设置，设置后点击右上角的“保存此模型的设置”，然后点击“重新加载模型”。
   • 注意：无需手动设置 GPTQ 参数，这些参数会从 quantize_config.json 文件中自动设置。
9. 准备好后，点击“文本生成”选项卡，输入提示即可开始。

从 Python 代码使用

安装必要的包

需要：Transformers 4.33.0 或更高版本，Optimum 1.12.0 或更高版本，以及 AutoGPTQ 0.4.2 或更高版本。

pip3 install transformers optimum
pip3 install auto-gptq --extra-index-url https://huggingface.github.io/autogptq-index/whl/cu118/  # 若使用 CUDA 11.7，使用 cu117

若使用预构建的轮子安装 AutoGPTQ 有问题，可从源代码安装：

pip3 uninstall -y auto-gptq
git clone https://github.com/PanQiWei/AutoGPTQ
cd AutoGPTQ
git checkout v0.4.2
pip3 install .

使用代码示例

from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline

model_name_or_path = "TheBloke/Nethena-20B-GPTQ"
# 若使用不同分支，更改 revision
# 例如：revision="gptq-4bit-128g-actorder_True"
model = AutoModelForCausalLM.from_pretrained(model_name_or_path,
                                             device_map="auto",
                                             trust_remote_code=False,
                                             revision="main")

tokenizer = AutoTokenizer.from_pretrained(model_name_or_path, use_fast=True)

prompt = "Tell me about AI"
prompt_template=f'''Below is an instruction that describes a task. Write a response that appropriately completes the request.

### Instruction:
{prompt}

### Response:
'''

print("\n\n*** Generate:")

input_ids = tokenizer(prompt_template, return_tensors='pt').input_ids.cuda()
output = model.generate(inputs=input_ids, temperature=0.7, do_sample=True, top_p=0.95, top_k=40, max_new_tokens=512)
print(tokenizer.decode(output[0]))

# 也可以使用 transformers 的 pipeline 进行推理
print("*** Pipeline:")
pipe = pipeline(
    "text-generation",
    model=model,
    tokenizer=tokenizer,
    max_new_tokens=512,
    do_sample=True,
    temperature=0.7,
    top_p=0.95,
    top_k=40,
    repetition_penalty=1.1
)

print(pipe(prompt_template)[0]['generated_text'])

📚 详细文档

可用的仓库

• 用于 GPU 推理的 AWQ 模型
• 用于 GPU 推理的 GPTQ 模型，具有多种量化参数选项
• 用于 CPU+GPU 推理的 2、3、4、5、6 和 8 位 GGUF 模型
• NeverSleep 原始未量化的 fp16 格式 PyTorch 模型，用于 GPU 推理和进一步转换

提供的文件和 GPTQ 参数

提供多种量化参数，可根据硬件和需求选择。每个单独的量化模型位于不同的分支，以下是获取不同分支的说明。大多数 GPTQ 文件使用 AutoGPTQ 制作，Mistral 模型目前使用 Transformers 制作。

🔧 技术细节

这些文件使用 Massed Compute 提供的硬件进行量化。

📄 许可证

源模型的创建者将其许可证列为 cc-by-nc-4.0，因此此量化版本使用相同的许可证。由于此模型基于 Llama 2，它也受 Meta Llama 2 许可证条款的约束，并且额外包含了该许可证文件。因此，应认为该模型声称同时受这两种许可证的约束。我联系了 Hugging Face 以澄清双重许可问题，但他们尚未有官方立场。如果情况发生变化，或者 Meta 对此情况提供任何反馈，我将相应更新此部分。

在此期间，有关许可证的任何问题，特别是这两种许可证如何相互作用的问题，应直接咨询原始模型仓库：NeverSleep 的 Nethena 20B。

其他信息

Discord

如需进一步支持，以及讨论这些模型和一般人工智能，请加入： TheBloke AI 的 Discord 服务器

感谢与贡献方式

感谢 chirper.ai 团队！感谢 gpus.llm-utils.org 的 Clay！

很多人询问是否可以贡献。我喜欢提供模型并帮助他人，希望能够花更多时间做这件事，并扩展到新的项目，如微调/训练。

如果您有能力并愿意贡献，将不胜感激，这将帮助我继续提供更多模型，并开始新的人工智能项目。

捐赠者将在任何和所有人工智能/大语言模型/模型问题和请求上获得优先支持，访问私人 Discord 房间，以及其他福利。

• Patreon：https://patreon.com/TheBlokeAI
• Ko-Fi：https://ko-fi.com/TheBlokeAI

特别感谢：Aemon Algiz。

Patreon 特别提及：Brandon Frisco, LangChain4j, Spiking Neurons AB, transmissions 11, Joseph William Delisle, Nitin Borwankar, Willem Michiel, Michael Dempsey, vamX, Jeffrey Morgan, zynix, jjj, Omer Bin Jawed, Sean Connelly, jinyuan sun, Jeromy Smith, Shadi, Pawan Osman, Chadd, Elijah Stavena, Illia Dulskyi, Sebastain Graf, Stephen Murray, terasurfer, Edmond Seymore, Celu Ramasamy, Mandus, Alex, biorpg, Ajan Kanaga, Clay Pascal, Raven Klaugh, 阿明, K, ya boyyy, usrbinkat, Alicia Loh, John Villwock, ReadyPlayerEmma, Chris Smitley, Cap'n Zoog, fincy, GodLy, S_X, sidney chen, Cory Kujawski, OG, Mano Prime, AzureBlack, Pieter, Kalila, Spencer Kim, Tom X Nguyen, Stanislav Ovsiannikov, Michael Levine, Andrey, Trailburnt, Vadim, Enrico Ros, Talal Aujan, Brandon Phillips, Jack West, Eugene Pentland, Michael Davis, Will Dee, webtim, Jonathan Leane, Alps Aficionado, Rooh Singh, Tiffany J. Kim, theTransient, Luke @flexchar, Elle, Caitlyn Gatomon, Ari Malik, subjectnull, Johann-Peter Hartmann, Trenton Dambrowitz, Imad Khwaja, Asp the Wyvern, Emad Mostaque, Rainer Wilmers, Alexandros Triantafyllidis, Nicholas, Pedro Madruga, SuperWojo, Harry Royden McLaughlin, James Bentley, Olakabola, David Ziegler, Ai Maven, Jeff Scroggin, Nikolai Manek, Deo Leter, Matthew Berman, Fen Risland, Ken Nordquist, Manuel Alberto Morcote, Luke Pendergrass, TL, Fred von Graf, Randy H, Dan Guido, NimbleBox.ai, Vitor Caleffi, Gabriel Tamborski, knownsqashed, Lone Striker, Erik Bjäreholt, John Detwiler, Leonard Tan, Iucharbius

感谢所有慷慨的赞助者和捐赠者！再次感谢 a16z 的慷慨资助。

原始模型卡片：NeverSleep 的 Nethena 20B

该模型是 IkariDev 和 Undi 的合作成果！

Nethena-20B 模型，使用 Alpaca 格式，适用于角色扮演（RP）、情感角色扮演（ERP）和一般任务。

如果我们将所有最佳模型结合起来会怎样？这就是答案：Echidna v0.3 + Athena v3 + Nete

该模型还有 13B 版本，可在此查看：Nethena 13B

描述

此仓库包含 Nethena-20B 的 fp16 文件。

• FP16 - 由 IkariDev 和 Undi 提供
• GGUF - 由 IkariDev 和 Undi 提供

评分

注意：我们已获得所有用户上传评分的许可，不会未经询问就截取随机评论并放在这里！目前尚无评分。如果您希望您的评分显示在这里，请在 Discord 上给我们发送消息，我们将在此处上传截图。Discord 名称为 “ikaridev” 和 “undi”。

使用的模型和 LoRA 及配方

• NeverSleep/Echidna-13b-v0.3
• IkariDev/Athena-v3
• Undi95/Nete-13B

提示模板：Alpaca

Below is an instruction that describes a task. Write a response that appropriately completes the request.

### Instruction:
{prompt}

### Response:

其他信息

• Undi：如果您想支持我，可以 点击此处。
• IkariDev：请访问我的 复古/新城市风格网站。