Wizardlm 2 8x22B GGUF

🚀 WizardLM-2-8x22B-GGUF

本項目提供了microsoft/WizardLM-2-8x22B模型的GGUF格式文件，可用於文本生成任務。

🚀 快速開始

模型信息

• 模型創建者：microsoft
• 原始模型：microsoft/WizardLM-2-8x22B

模型描述

MaziyarPanahi/WizardLM-2-8x22B-GGUF 包含了 microsoft/WizardLM-2-8x22B 模型的GGUF格式文件。

下載方式

你可以只下載所需的量化文件，而無需克隆整個倉庫，示例命令如下：

Linux系統

huggingface-cli download MaziyarPanahi/WizardLM-2-8x22B-GGUF --local-dir . --include '*Q2_K*gguf'

Windows系統

huggingface-cli download MaziyarPanahi/WizardLM-2-8x22B-GGUF --local-dir . --include *Q4_K_S*gguf

加載分片模型

llama_load_model_from_file 會自動檢測文件數量，並從其餘文件中加載額外的張量。

llama.cpp/main -m WizardLM-2-8x22B.Q2_K-00001-of-00005.gguf -p "Building a website can be done in 10 simple steps:\nStep 1:" -n 1024 -e

提示模板

模板一

{system_prompt}
USER: {prompt}
ASSISTANT: </s>

模板二

A chat between a curious user and an artificial intelligence assistant. The assistant gives helpful, 
detailed, and polite answers to the user's questions. USER: Hi ASSISTANT: Hello.</s>
USER: {prompt} ASSISTANT: </s>......

📦 安裝指南

由於文檔中未明確提及安裝步驟，此部分暫不展示。

💻 使用示例

基礎用法

文檔中未提供基礎用法的代碼示例，此部分暫不展示。

高級用法

文檔中未提供高級用法的代碼示例，此部分暫不展示。

📚 詳細文檔

文檔中未提供詳細說明，此部分暫不展示。

🔧 技術細節

文檔中未提供技術實現細節，此部分暫不展示。

📄 許可證

文檔中提及許可證為 apache-2.0，但未提供更多相關信息，此部分暫不展示。