Dans PersonalityEngine V1.3.0 24b Q4 K M GGUF

🚀 King-Cane/Dans-PersonalityEngine-V1.3.0-24b-Q4_K_M-GGUF

本模型是通過llama.cpp，藉助ggml.ai的GGUF-my-repo空間，從PocketDoc/Dans-PersonalityEngine-V1.3.0-24b轉換為GGUF格式的。如需瞭解該模型的更多詳細信息，請參考原始模型卡片。

🚀 快速開始

模型信息

多語言支持

本模型支持以下語言：

• 阿拉伯語
• 中文
• 英語
• 法語
• 德語
• 印地語
• 日語
• 韓語
• 葡萄牙語
• 西班牙語

關鍵細節

• 基礎模型：mistralai/Mistral-Small-3.1-24B-Base-2503
• 許可證：apache-2.0
• 支持語言：支持10種語言的多語言模型
• 上下文長度：32768個標記，131072個標記時召回率會下降

推薦設置

• 溫度（TEMPERATURE）：1.0
• 核採樣概率（TOP_P）：0.9

提示格式

本模型使用名為“DanChat - 2”的格式。

📦 安裝指南

通過brew（適用於Mac和Linux）安裝llama.cpp：

brew install llama.cpp

💻 使用示例

使用llama.cpp的CLI

llama-cli --hf-repo King-Cane/Dans-PersonalityEngine-V1.3.0-24b-Q4_K_M-GGUF --hf-file dans-personalityengine-v1.3.0-24b-q4_k_m.gguf -p "The meaning to life and the universe is"

使用llama.cpp的服務器

llama-server --hf-repo King-Cane/Dans-PersonalityEngine-V1.3.0-24b-Q4_K_M-GGUF --hf-file dans-personalityengine-v1.3.0-24b-q4_k_m.gguf -c 2048

直接使用Llama.cpp倉庫中的步驟

步驟1：從GitHub克隆llama.cpp

git clone https://github.com/ggerganov/llama.cpp

步驟2：進入llama.cpp文件夾並使用LLAMA_CURL = 1標誌以及其他特定硬件標誌（例如，在Linux上使用Nvidia GPU時使用LLAMA_CUDA = 1）進行構建

cd llama.cpp && LLAMA_CURL=1 make

步驟3：通過主二進制文件運行推理

./llama-cli --hf-repo King-Cane/Dans-PersonalityEngine-V1.3.0-24b-Q4_K_M-GGUF --hf-file dans-personalityengine-v1.3.0-24b-q4_k_m.gguf -p "The meaning to life and the universe is"

或者

./llama-server --hf-repo King-Cane/Dans-PersonalityEngine-V1.3.0-24b-Q4_K_M-GGUF --hf-file dans-personalityengine-v1.3.0-24b-q4_k_m.gguf -c 2048

⚠️ 重要提示

你也可以直接通過Llama.cpp倉庫中列出的使用步驟使用此檢查點。