Orionstar Yi 34B Chat Llama GGUF

🚀 猎户星空易 34B 聊天 Llama - GGUF

本项目提供了猎户星空易 34B 聊天 Llama 模型的 GGUF 格式文件，可用于文本生成任务，为大模型社区用户提供出色的交互体验。

🚀 快速开始

下载 GGUF 文件

• 自动下载：LM Studio、LoLLMS Web UI、Faraday.dev 等客户端/库可自动下载模型，并提供可用模型列表供选择。
• text-generation-webui 下载：在“Download Model”中输入模型仓库地址 TheBloke/OrionStar-Yi-34B-Chat-Llama-GGUF，并指定要下载的文件名，如 orionstar-yi-34b-chat-llama.Q4_K_M.gguf，然后点击“Download”。
• 命令行下载：推荐使用 huggingface-hub Python 库，示例命令如下：

pip3 install huggingface-hub
huggingface-cli download TheBloke/OrionStar-Yi-34B-Chat-Llama-GGUF orionstar-yi-34b-chat-llama.Q4_K_M.gguf --local-dir . --local-dir-use-symlinks False

运行模型

llama.cpp 命令示例

确保使用的是 d0cee0d 或更新版本的 llama.cpp。示例命令如下：

./main -ngl 32 -m orionstar-yi-34b-chat-llama.Q4_K_M.gguf --color -c 2048 --temp 0.7 --repeat_penalty 1.1 -n -1 -p "Human: {prompt}\n\nAssistant:"

参数说明：

• -ngl 32：指定要卸载到 GPU 的层数，若无 GPU 加速可移除该参数。
• -c 2048：指定所需的序列长度。
• 若要进行聊天式对话，将 -p <PROMPT> 参数替换为 -i -ins。

text-generation-webui 运行方法

更多说明可参考 text-generation-webui 文档。

Python 代码运行方法

可使用 llama-cpp-python 或 ctransformers 库从 Python 中使用 GGUF 模型。 以 ctransformers 为例：

# 无 GPU 加速的基础 ctransformers
pip install ctransformers
# 或使用 CUDA GPU 加速
pip install ctransformers[cuda]
# 或使用 AMD ROCm GPU 加速（仅适用于 Linux）
CT_HIPBLAS=1 pip install ctransformers --no-binary ctransformers
# 或使用 Metal GPU 加速（仅适用于 macOS 系统）
CT_METAL=1 pip install ctransformers --no-binary ctransformers

示例代码：

from ctransformers import AutoModelForCausalLM

# 设置要卸载到 GPU 的层数。若系统无 GPU 加速，设置为 0。
llm = AutoModelForCausalLM.from_pretrained("TheBloke/OrionStar-Yi-34B-Chat-Llama-GGUF", model_file="orionstar-yi-34b-chat-llama.Q4_K_M.gguf", model_type="yi", gpu_layers=50)

print(llm("AI is going to"))

✨ 主要特性

• GGUF 格式：由 llama.cpp 团队于 2023 年 8 月 21 日引入的新格式，取代不再受 llama.cpp 支持的 GGML 格式。
• 多客户端支持：众多客户端和库支持 GGUF 格式，如 llama.cpp、text-generation-webui、KoboldCpp 等。
• 多量化模型可选：提供多种量化方法和比特数的模型文件，可根据不同需求选择。
• 高性能表现：基于猎户星空易 34B 聊天 Llama 模型，在多个通用领域数据集上表现出色。

📦 安装指南

安装依赖库

pip3 install huggingface-hub

若要加速下载，可安装 hf_transfer：

pip3 install hf_transfer

💻 使用示例

基础用法

from ctransformers import AutoModelForCausalLM

# 设置要卸载到 GPU 的层数。若系统无 GPU 加速，设置为 0。
llm = AutoModelForCausalLM.from_pretrained("TheBloke/OrionStar-Yi-34B-Chat-Llama-GGUF", model_file="orionstar-yi-34b-chat-llama.Q4_K_M.gguf", model_type="yi", gpu_layers=50)

print(llm("你好！"))

高级用法

from ctransformers import AutoModelForCausalLM

# 设置要卸载到 GPU 的层数。若系统无 GPU 加速，设置为 0。
llm = AutoModelForCausalLM.from_pretrained("TheBloke/OrionStar-Yi-34B-Chat-Llama-GGUF", model_file="orionstar-yi-34b-chat-llama.Q4_K_M.gguf", model_type="yi", gpu_layers=50)

prompt = "请介绍一下人工智能的发展历程。"
response = llm(prompt)
print(response)

📚 详细文档

关于 GGUF

GGUF 是 llama.cpp 团队于 2023 年 8 月 21 日引入的新格式，用于取代不再受 llama.cpp 支持的 GGML 格式。以下是已知支持 GGUF 的客户端和库：

• llama.cpp：GGUF 的源项目，提供 CLI 和服务器选项。
• text-generation-webui：最广泛使用的 Web UI，具有许多功能和强大的扩展，支持 GPU 加速。
• KoboldCpp：功能齐全的 Web UI，支持跨所有平台和 GPU 架构的 GPU 加速，特别适合讲故事。
• LM Studio：适用于 Windows 和 macOS（Silicon）的易于使用且功能强大的本地 GUI，支持 GPU 加速。
• LoLLMS Web UI：一个很棒的 Web UI，具有许多有趣和独特的功能，包括一个完整的模型库，便于模型选择。
• Faraday.dev：一个有吸引力且易于使用的基于角色的聊天 GUI，适用于 Windows 和 macOS（Silicon 和 Intel），支持 GPU 加速。
• ctransformers：一个支持 GPU 加速、LangChain 支持和 OpenAI 兼容 AI 服务器的 Python 库。
• llama-cpp-python：一个支持 GPU 加速、LangChain 支持和 OpenAI 兼容 API 服务器的 Python 库。
• candle：一个 Rust ML 框架，注重性能，包括 GPU 支持和易用性。

可用仓库

• 用于 GPU 推理的 AWQ 模型
• 用于 GPU 推理的 GPTQ 模型，具有多种量化参数选项
• 用于 CPU+GPU 推理的 2、3、4、5、6 和 8 位 GGUF 模型
• 猎户星空原始未量化的 fp16 格式 PyTorch 模型，用于 GPU 推理和进一步转换

提示模板

Human: {prompt}

Assistant:

兼容性

这些量化的 GGUFv2 文件与 2023 年 8 月 27 日及以后的 llama.cpp 兼容，对应提交版本为 d0cee0d。同时，它们也与许多第三方 UI 和库兼容。

量化方法说明

提供的文件

注意：上述 RAM 数字假设没有 GPU 卸载。如果将层卸载到 GPU，将减少 RAM 使用并使用 VRAM。

🔧 技术细节

模型评估结果

使用 opencompass 在以下通用领域数据集上进行 5 次测试，其他模型的评估结果取自 opencompass 排行榜。

📄 许可证

本模型遵循 Yi 许可证，可完全用于学术研究，但请遵守相关协议。

其他信息

Discord

如需进一步支持，或参与模型和 AI 相关讨论，可加入 TheBloke AI 的 Discord 服务器。

感谢与贡献

感谢 chirper.ai 团队和 gpus.llm-utils.org 的 Clay！

如果您愿意贡献，将非常感激，这将帮助提供更多模型并开展新的 AI 项目。捐赠者将在所有 AI/LLM/模型问题和请求上获得优先支持，访问私人 Discord 房间等福利。

• Patreon：https://patreon.com/TheBlokeAI
• Ko-Fi：https://ko-fi.com/TheBlokeAI

特别感谢：Aemon Algiz。

Patreon 特别提及：Brandon Frisco、LangChain4j 等众多个人和组织。

感谢所有慷慨的赞助者和捐赠者！再次感谢 a16z 的慷慨资助。