🚀 [MaziyarPanahi/Llama-3-Smaug-8B-GGUF]
本项目提供了 abacusai/Llama-3-Smaug-8B 模型的 GGUF 格式文件,便于用户使用该模型进行文本生成任务。
🚀 快速开始
模型信息
模型描述
MaziyarPanahi/Llama-3-Smaug-8B-GGUF 包含了 abacusai/Llama-3-Smaug-8B 模型的 GGUF 格式文件。
模型标签信息
属性 |
详情 |
量化情况 |
支持 2-bit、3-bit、4-bit、5-bit、6-bit、8-bit 量化 |
模型格式 |
GGUF |
任务类型 |
文本生成 |
相关模型 |
mixtral、Llama-3-Smaug-8B |
📦 安装指南
文档未提及具体安装步骤,可参考各支持 GGUF 格式的客户端和库的官方文档进行安装。
💻 使用示例
基础用法
加载 GGUF 模型时,你必须
遵循 Llama - 3 提供的提示模板:
./llama.cpp/main -m Llama-3-Smaug-8B.Q2_K.gguf -r '<|eot_id|>' --in-prefix "\n<|start_header_id|>user<|end_header_id|>\n\n" --in-suffix "<|eot_id|><|start_header_id|>assistant<|end_header_id|>\n\n" -p "<|begin_of_text|><|start_header_id|>system<|end_header_id|>\n\nYou are a helpful, smart, kind, and efficient AI assistant. You always fulfill the user's requests to the best of your ability.<|eot_id|>\n<|start_header_id|>user<|end_header_id|>\n\nHi! How are you?<|eot_id|>\n<|start_header_id|>assistant<|end_header_id|>\n\n" -n 1024
关于 GGUF
GGUF 是 llama.cpp 团队在 2023 年 8 月 21 日引入的一种新格式,它取代了不再受 llama.cpp 支持的 GGML 格式。
以下是已知支持 GGUF 的客户端和库的不完全列表:
- llama.cpp。GGUF 的源项目,提供了命令行界面和服务器选项。
- text-generation-webui,最广泛使用的 Web UI,具有许多功能和强大的扩展,支持 GPU 加速。
- KoboldCpp,一个功能齐全的 Web UI,支持所有平台和 GPU 架构的 GPU 加速,特别适合用于讲故事。
- GPT4All,一个免费开源的本地运行 GUI,支持 Windows、Linux 和 macOS 系统,并提供全 GPU 加速。
- LM Studio,一个易于使用且功能强大的本地 GUI,适用于 Windows 和 macOS(Silicon)系统,支持 GPU 加速,截至 2023 年 11 月 27 日,Linux 版本处于测试阶段。
- LoLLMS Web UI,一个很棒的 Web UI,具有许多有趣和独特的功能,包括一个完整的模型库,便于选择模型。
- Faraday.dev,一个有吸引力且易于使用的基于角色的聊天 GUI,适用于 Windows 和 macOS(Silicon 和 Intel)系统,支持 GPU 加速。
- llama-cpp-python,一个支持 GPU 加速、LangChain 支持和 OpenAI 兼容 API 服务器的 Python 库。
- candle,一个专注于性能的 Rust ML 框架,包括 GPU 支持,且易于使用。
- ctransformers,一个支持 GPU 加速、LangChain 支持和 OpenAI 兼容 AI 服务器的 Python 库。请注意,截至撰写本文时(2023 年 11 月 27 日),ctransformers 已经很长时间没有更新,并且不支持许多最新的模型。