Synatra 7B V0.3 RP GGUF

🚀 Synatra 7B V0.3 RP - GGUF

Synatra 7B V0.3 RP - GGUF是一个文本生成模型，基于Mistral架构，由Jeonghwan Park创建。本仓库提供了该模型的GGUF格式文件，支持多种量化方法，可在不同设备上进行推理。

🚀 快速开始

下载GGUF文件

• 自动下载：LM Studio、LoLLMS Web UI、Faraday.dev等客户端/库会自动下载模型，并提供可用模型列表供选择。
• text-generation-webui：在“Download Model”中输入模型仓库地址TheBloke/Synatra-7B-v0.3-RP-GGUF，并指定要下载的文件名，如synatra-7b-v0.3-rp.Q4_K_M.gguf，然后点击“Download”。
• 命令行：使用huggingface-hub Python库下载单个模型文件，示例命令如下：

pip3 install huggingface-hub
huggingface-cli download TheBloke/Synatra-7B-v0.3-RP-GGUF synatra-7b-v0.3-rp.Q4_K_M.gguf --local-dir . --local-dir-use-symlinks False

运行模型

llama.cpp

确保使用的是d0cee0d或更高版本的llama.cpp，示例命令如下：

./main -ngl 32 -m synatra-7b-v0.3-rp.Q4_K_M.gguf --color -c 2048 --temp 0.7 --repeat_penalty 1.1 -n -1 -p "<|im_start|>system\n{system_message}<|im_end|>\n<|im_start|>user\n{prompt}<|im_end|>\n<|im_start|>assistant"

• -ngl 32：指定要卸载到GPU的层数，若无GPU加速可移除该参数。
• -c 2048：指定所需的序列长度。

text-generation-webui

更多说明可参考text-generation-webui文档。

Python代码

可使用llama-cpp-python或ctransformers库从Python中使用GGUF模型，以下是使用ctransformers加载模型的示例代码：

from ctransformers import AutoModelForCausalLM

# 安装包
# 无GPU加速的基础ctransformers
pip install ctransformers
# 或使用CUDA GPU加速
pip install ctransformers[cuda]
# 或使用AMD ROCm GPU加速（仅适用于Linux）
CT_HIPBLAS=1 pip install ctransformers --no-binary ctransformers
# 或使用Metal GPU加速（仅适用于macOS系统）
CT_METAL=1 pip install ctransformers --no-binary ctransformers

# 加载模型
llm = AutoModelForCausalLM.from_pretrained("TheBloke/Synatra-7B-v0.3-RP-GGUF", model_file="synatra-7b-v0.3-rp.Q4_K_M.gguf", model_type="mistral", gpu_layers=50)

print(llm("AI is going to"))

✨ 主要特性

• 多语言支持：支持韩语（ko）。
• 多种量化格式：提供2、3、4、5、6和8位的GGUF模型，适用于CPU+GPU推理。
• 广泛的兼容性：与多种客户端和库兼容，如llama.cpp、text-generation-webui、KoboldCpp等。

📦 安装指南

下载依赖库

pip3 install huggingface-hub

下载模型文件

huggingface-cli download TheBloke/Synatra-7B-v0.3-RP-GGUF synatra-7b-v0.3-rp.Q4_K_M.gguf --local-dir . --local-dir-use-symlinks False

💻 使用示例

基础用法

from transformers import AutoModelForCausalLM, AutoTokenizer

device = "cuda" # 加载模型的设备

model = AutoModelForCausalLM.from_pretrained("maywell/Synatra-7B-v0.3-RP")
tokenizer = AutoTokenizer.from_pretrained("maywell/Synatra-7B-v0.3-RP")

messages = [
    {"role": "user", "content": "바나나는 원래 하얀색이야?"},
]

encodeds = tokenizer.apply_chat_template(messages, return_tensors="pt")

model_inputs = encodeds.to(device)
model.to(device)

generated_ids = model.generate(model_inputs, max_new_tokens=1000, do_sample=True)
decoded = tokenizer.batch_decode(generated_ids)
print(decoded[0])

📚 详细文档

模型信息

关于GGUF

GGUF是llama.cpp团队在2023年8月21日引入的一种新格式，用于替代不再受llama.cpp支持的GGML格式。以下是一些已知支持GGUF的客户端和库：

• llama.cpp：提供CLI和服务器选项。
• text-generation-webui：最广泛使用的Web UI，具有许多功能和强大的扩展。
• KoboldCpp：功能齐全的Web UI，支持跨所有平台和GPU架构的GPU加速。
• LM Studio：适用于Windows和macOS（Silicon）的易于使用且功能强大的本地GUI，支持GPU加速。
• LoLLMS Web UI：具有许多有趣和独特功能的优秀Web UI，包括一个完整的模型库，便于模型选择。
• Faraday.dev：适用于Windows和macOS（Silicon和Intel）的有吸引力且易于使用的基于角色的聊天GUI，支持GPU加速。
• ctransformers：具有GPU加速、LangChain支持和OpenAI兼容AI服务器的Python库。
• llama-cpp-python：具有GPU加速、LangChain支持和OpenAI兼容API服务器的Python库。
• candle：专注于性能的Rust ML框架，包括GPU支持和易用性。

可用仓库

• 用于GPU推理的AWQ模型
• 具有多个量化参数选项的GPTQ模型，用于GPU推理
• 用于CPU+GPU推理的2、3、4、5、6和8位GGUF模型
• Jeonghwan Park的原始未量化fp16模型（pytorch格式），用于GPU推理和进一步转换

提示模板

<|im_start|>system
{system_message}<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>assistant

兼容性

这些量化的GGUFv2文件与2023年8月27日及以后的llama.cpp版本兼容，对应提交为d0cee0d。它们也与许多第三方UI和库兼容，请参阅本README顶部的列表。

量化方法说明

提供的文件

注意：上述RAM数字假设没有GPU卸载。如果将层卸载到GPU，这将减少RAM使用并使用VRAM。

如何下载GGUF文件

手动下载者注意：几乎不需要克隆整个仓库！提供了多种不同的量化格式，大多数用户只需要选择并下载单个文件。

以下客户端/库将自动为您下载模型，并提供可用模型列表供选择：

• LM Studio
• LoLLMS Web UI
• Faraday.dev

在text-generation-webui中

在“Download Model”下，输入模型仓库地址TheBloke/Synatra-7B-v0.3-RP-GGUF，并在其下方输入要下载的特定文件名，如synatra-7b-v0.3-rp.Q4_K_M.gguf，然后点击“Download”。

在命令行中，包括同时下载多个文件

建议使用huggingface-hub Python库：

pip3 install huggingface-hub

然后可以使用以下命令将任何单个模型文件高速下载到当前目录：

huggingface-cli download TheBloke/Synatra-7B-v0.3-RP-GGUF synatra-7b-v0.3-rp.Q4_K_M.gguf --local-dir . --local-dir-use-symlinks False

huggingface-cli download TheBloke/Synatra-7B-v0.3-RP-GGUF --local-dir . --local-dir-use-symlinks False --include='*Q4_K*gguf'

pip3 install hf_transfer

HF_HUB_ENABLE_HF_TRANSFER=1 huggingface-cli download TheBloke/Synatra-7B-v0.3-RP-GGUF synatra-7b-v0.3-rp.Q4_K_M.gguf --local-dir . --local-dir-use-symlinks False

如何使用LangChain

以下是使用llama-cpp-python和ctransformers与LangChain的指南：

• LangChain + llama-cpp-python
• LangChain + ctransformers

🔧 技术细节

模型基准

Ko-LLM-Leaderboard

正在进行基准测试...

Open LLM Leaderboard评估结果

详细结果可查看此处。

为什么基准分数低于预览版本？

显然，预览模型使用的是Alpaca风格的提示，没有前缀，而ChatML有。

📄 许可证

本模型严格遵循非商业（cc-by-nc-4.0）使用许可。只要任何父仓库中包含cc-by-nc-4.0许可证，并且非商业使用规定仍然有效，“模型”（即基础模型、派生模型、合并/混合模型）可完全免费用于非商业目的，无论其他模型的许可证如何。新模型发布后，许可证可能会更改。如果您要将此模型用于商业目的，请联系模型创建者。

Discord

如需进一步支持，以及讨论这些模型和AI相关内容，请加入TheBloke AI的Discord服务器。

感谢与贡献方式

感谢chirper.ai团队！感谢来自gpus.llm-utils.org的Clay！

很多人询问是否可以进行贡献。我喜欢提供模型并帮助他人，也希望能够花更多时间做这些事情，同时开展新的项目，如微调/训练。

如果您有能力且愿意贡献，我将非常感激，这将帮助我继续提供更多模型，并开展新的AI项目。捐赠者将在任何AI/LLM/模型问题和请求上获得优先支持，访问私人Discord房间，以及其他福利。

• Patreon: https://patreon.com/TheBlokeAI
• Ko-Fi: https://ko-fi.com/TheBlokeAI

特别感谢：Aemon Algiz。

Patreon特别提及：Brandon Frisco、LangChain4j、Spiking Neurons AB、transmissions 11、Joseph William Delisle、Nitin Borwankar、Willem Michiel、Michael Dempsey、vamX、Jeffrey Morgan、zynix、jjj、Omer Bin Jawed、Sean Connelly、jinyuan sun、Jeromy Smith、Shadi、Pawan Osman、Chadd、Elijah Stavena、Illia Dulskyi、Sebastain Graf、Stephen Murray、terasurfer、Edmond Seymore、Celu Ramasamy、Mandus、Alex、biorpg、Ajan Kanaga、Clay Pascal、Raven Klaugh、阿明、K、ya boyyy、usrbinkat、Alicia Loh、John Villwock、ReadyPlayerEmma、Chris Smitley、Cap'n Zoog、fincy、GodLy、S_X、sidney chen、Cory Kujawski、OG、Mano Prime、AzureBlack、Pieter、Kalila、Spencer Kim、Tom X Nguyen、Stanislav Ovsiannikov、Michael Levine、Andrey、Trailburnt、Vadim、Enrico Ros、Talal Aujan、Brandon Phillips、Jack West、Eugene Pentland、Michael Davis、Will Dee、webtim、Jonathan Leane、Alps Aficionado、Rooh Singh、Tiffany J. Kim、theTransient、Luke @flexchar、Elle、Caitlyn Gatomon、Ari Malik、subjectnull、Johann-Peter Hartmann、Trenton Dambrowitz、Imad Khwaja、Asp the Wyvern、Emad Mostaque、Rainer Wilmers、Alexandros Triantafyllidis、Nicholas、Pedro Madruga、SuperWojo、Harry Royden McLaughlin、James Bentley、Olakabola、David Ziegler、Ai Maven、Jeff Scroggin、Nikolai Manek、Deo Leter、Matthew Berman、Fen Risland、Ken Nordquist、Manuel Alberto Morcote、Luke Pendergrass、TL、Fred von Graf、Randy H、Dan Guido、NimbleBox.ai、Vitor Caleffi、Gabriel Tamborski、knownsqashed、Lone Striker、Erik Bjäreholt、John Detwiler、Leonard Tan、Iucharbius

感谢所有慷慨的赞助者和捐赠者！再次感谢a16z的慷慨资助。