Orionstar Yi 34B Chat Llama GGUF

🚀 獵戶星空易 34B 聊天 Llama - GGUF

本項目提供了獵戶星空易 34B 聊天 Llama 模型的 GGUF 格式文件，可用於文本生成任務，為大模型社區用戶提供出色的交互體驗。

🚀 快速開始

下載 GGUF 文件

• 自動下載：LM Studio、LoLLMS Web UI、Faraday.dev 等客戶端/庫可自動下載模型，並提供可用模型列表供選擇。
• text-generation-webui 下載：在“Download Model”中輸入模型倉庫地址 TheBloke/OrionStar-Yi-34B-Chat-Llama-GGUF，並指定要下載的文件名，如 orionstar-yi-34b-chat-llama.Q4_K_M.gguf，然後點擊“Download”。
• 命令行下載：推薦使用 huggingface-hub Python 庫，示例命令如下：

pip3 install huggingface-hub
huggingface-cli download TheBloke/OrionStar-Yi-34B-Chat-Llama-GGUF orionstar-yi-34b-chat-llama.Q4_K_M.gguf --local-dir . --local-dir-use-symlinks False

運行模型

llama.cpp 命令示例

確保使用的是 d0cee0d 或更新版本的 llama.cpp。示例命令如下：

./main -ngl 32 -m orionstar-yi-34b-chat-llama.Q4_K_M.gguf --color -c 2048 --temp 0.7 --repeat_penalty 1.1 -n -1 -p "Human: {prompt}\n\nAssistant:"

參數說明：

• -ngl 32：指定要卸載到 GPU 的層數，若無 GPU 加速可移除該參數。
• -c 2048：指定所需的序列長度。
• 若要進行聊天式對話，將 -p <PROMPT> 參數替換為 -i -ins。

text-generation-webui 運行方法

更多說明可參考 text-generation-webui 文檔。

Python 代碼運行方法

可使用 llama-cpp-python 或 ctransformers 庫從 Python 中使用 GGUF 模型。 以 ctransformers 為例：

# 無 GPU 加速的基礎 ctransformers
pip install ctransformers
# 或使用 CUDA GPU 加速
pip install ctransformers[cuda]
# 或使用 AMD ROCm GPU 加速（僅適用於 Linux）
CT_HIPBLAS=1 pip install ctransformers --no-binary ctransformers
# 或使用 Metal GPU 加速（僅適用於 macOS 系統）
CT_METAL=1 pip install ctransformers --no-binary ctransformers

示例代碼：

from ctransformers import AutoModelForCausalLM

# 設置要卸載到 GPU 的層數。若系統無 GPU 加速，設置為 0。
llm = AutoModelForCausalLM.from_pretrained("TheBloke/OrionStar-Yi-34B-Chat-Llama-GGUF", model_file="orionstar-yi-34b-chat-llama.Q4_K_M.gguf", model_type="yi", gpu_layers=50)

print(llm("AI is going to"))

✨ 主要特性

• GGUF 格式：由 llama.cpp 團隊於 2023 年 8 月 21 日引入的新格式，取代不再受 llama.cpp 支持的 GGML 格式。
• 多客戶端支持：眾多客戶端和庫支持 GGUF 格式，如 llama.cpp、text-generation-webui、KoboldCpp 等。
• 多量化模型可選：提供多種量化方法和比特數的模型文件，可根據不同需求選擇。
• 高性能表現：基於獵戶星空易 34B 聊天 Llama 模型，在多個通用領域數據集上表現出色。

📦 安裝指南

安裝依賴庫

pip3 install huggingface-hub

若要加速下載，可安裝 hf_transfer：

pip3 install hf_transfer

💻 使用示例

基礎用法

from ctransformers import AutoModelForCausalLM

# 設置要卸載到 GPU 的層數。若系統無 GPU 加速，設置為 0。
llm = AutoModelForCausalLM.from_pretrained("TheBloke/OrionStar-Yi-34B-Chat-Llama-GGUF", model_file="orionstar-yi-34b-chat-llama.Q4_K_M.gguf", model_type="yi", gpu_layers=50)

print(llm("你好！"))

高級用法

from ctransformers import AutoModelForCausalLM

# 設置要卸載到 GPU 的層數。若系統無 GPU 加速，設置為 0。
llm = AutoModelForCausalLM.from_pretrained("TheBloke/OrionStar-Yi-34B-Chat-Llama-GGUF", model_file="orionstar-yi-34b-chat-llama.Q4_K_M.gguf", model_type="yi", gpu_layers=50)

prompt = "請介紹一下人工智能的發展歷程。"
response = llm(prompt)
print(response)

📚 詳細文檔

關於 GGUF

GGUF 是 llama.cpp 團隊於 2023 年 8 月 21 日引入的新格式，用於取代不再受 llama.cpp 支持的 GGML 格式。以下是已知支持 GGUF 的客戶端和庫：

• llama.cpp：GGUF 的源項目，提供 CLI 和服務器選項。
• text-generation-webui：最廣泛使用的 Web UI，具有許多功能和強大的擴展，支持 GPU 加速。
• KoboldCpp：功能齊全的 Web UI，支持跨所有平臺和 GPU 架構的 GPU 加速，特別適合講故事。
• LM Studio：適用於 Windows 和 macOS（Silicon）的易於使用且功能強大的本地 GUI，支持 GPU 加速。
• LoLLMS Web UI：一個很棒的 Web UI，具有許多有趣和獨特的功能，包括一個完整的模型庫，便於模型選擇。
• Faraday.dev：一個有吸引力且易於使用的基於角色的聊天 GUI，適用於 Windows 和 macOS（Silicon 和 Intel），支持 GPU 加速。
• ctransformers：一個支持 GPU 加速、LangChain 支持和 OpenAI 兼容 AI 服務器的 Python 庫。
• llama-cpp-python：一個支持 GPU 加速、LangChain 支持和 OpenAI 兼容 API 服務器的 Python 庫。
• candle：一個 Rust ML 框架，注重性能，包括 GPU 支持和易用性。

可用倉庫

• 用於 GPU 推理的 AWQ 模型
• 用於 GPU 推理的 GPTQ 模型，具有多種量化參數選項
• 用於 CPU+GPU 推理的 2、3、4、5、6 和 8 位 GGUF 模型
• 獵戶星空原始未量化的 fp16 格式 PyTorch 模型，用於 GPU 推理和進一步轉換

提示模板

Human: {prompt}

Assistant:

兼容性

這些量化的 GGUFv2 文件與 2023 年 8 月 27 日及以後的 llama.cpp 兼容，對應提交版本為 d0cee0d。同時，它們也與許多第三方 UI 和庫兼容。

量化方法說明

提供的文件

注意：上述 RAM 數字假設沒有 GPU 卸載。如果將層卸載到 GPU，將減少 RAM 使用並使用 VRAM。

🔧 技術細節

模型評估結果

使用 opencompass 在以下通用領域數據集上進行 5 次測試，其他模型的評估結果取自 opencompass 排行榜。

📄 許可證

本模型遵循 Yi 許可證，可完全用於學術研究，但請遵守相關協議。

其他信息

Discord

如需進一步支持，或參與模型和 AI 相關討論，可加入 TheBloke AI 的 Discord 服務器。

感謝與貢獻

感謝 chirper.ai 團隊和 gpus.llm-utils.org 的 Clay！

如果您願意貢獻，將非常感激，這將幫助提供更多模型並開展新的 AI 項目。捐贈者將在所有 AI/LLM/模型問題和請求上獲得優先支持，訪問私人 Discord 房間等福利。

• Patreon：https://patreon.com/TheBlokeAI
• Ko-Fi：https://ko-fi.com/TheBlokeAI

特別感謝：Aemon Algiz。

Patreon 特別提及：Brandon Frisco、LangChain4j 等眾多個人和組織。

感謝所有慷慨的贊助者和捐贈者！再次感謝 a16z 的慷慨資助。