🚀 NikolayKozloff/Dans-PersonalityEngine-V1.3.0-12b-Q6_K-GGUF
本模型是通过 llama.cpp 借助 ggml.ai 的 GGUF-my-repo 空间,从 PocketDoc/Dans-PersonalityEngine-V1.3.0-12b
转换为 GGUF 格式的。有关该模型的更多详细信息,请参考 原始模型卡片。
🚀 快速开始
📦 安装指南
通过 brew 安装 llama.cpp(适用于 Mac 和 Linux)
brew install llama.cpp
💻 使用示例
基础用法
可以调用 llama.cpp 服务器或命令行界面(CLI)进行使用。
CLI 方式:
llama-cli --hf-repo NikolayKozloff/Dans-PersonalityEngine-V1.3.0-12b-Q6_K-GGUF --hf-file dans-personalityengine-v1.3.0-12b-q6_k.gguf -p "The meaning to life and the universe is"
服务器方式:
llama-server --hf-repo NikolayKozloff/Dans-PersonalityEngine-V1.3.0-12b-Q6_K-GGUF --hf-file dans-personalityengine-v1.3.0-12b-q6_k.gguf -c 2048
高级用法
你也可以直接通过 Llama.cpp 仓库中列出的 使用步骤 使用此检查点。
步骤 1:从 GitHub 克隆 llama.cpp。
git clone https://github.com/ggerganov/llama.cpp
步骤 2:进入 llama.cpp 文件夹,并使用 LLAMA_CURL=1
标志以及其他特定硬件标志(例如,在 Linux 上使用 Nvidia GPU 时使用 LLAMA_CUDA=1
)进行编译。
cd llama.cpp && LLAMA_CURL=1 make
步骤 3:通过主二进制文件运行推理。
./llama-cli --hf-repo NikolayKozloff/Dans-PersonalityEngine-V1.3.0-12b-Q6_K-GGUF --hf-file dans-personalityengine-v1.3.0-12b-q6_k.gguf -p "The meaning to life and the universe is"
或者
./llama-server --hf-repo NikolayKozloff/Dans-PersonalityEngine-V1.3.0-12b-Q6_K-GGUF --hf-file dans-personalityengine-v1.3.0-12b-q6_k.gguf -c 2048
📄 许可证
本项目采用 Apache-2.0 许可证。
📋 模型信息
属性 |
详情 |
缩略图 |
https://huggingface.co/PocketDoc/Dans-PersonalityEngine-V1.3.0-12b/resolve/main/resources/pe.png |
标签 |
general-purpose、roleplay、storywriting、chemistry、biology、code、climate、axolotl、text-generation-inference、finetune、legal、medical、finance、llama-cpp、gguf-my-repo |
数据集 |
PocketDoc/Dans-Prosemaxx-RP、PocketDoc/Dans-Personamaxx-Logs-2、PocketDoc/Dans-Personamaxx-VN、PocketDoc/Dans-Kinomaxx-VanillaBackrooms、PocketDoc/Dans-Prosemaxx-Gutenberg、PocketDoc/Dans-Prosemaxx-Cowriter-3-XL、PocketDoc/Dans-Prosemaxx-Adventure、PocketDoc/Dans-Failuremaxx-Adventure-3、PocketDoc/Dans-Prosemaxx-InstructWriter-ZeroShot-2、PocketDoc/Dans-Prosemaxx-InstructWriter-ZeroShot-3、PocketDoc/Dans-Prosemaxx-InstructWriter-Continue-2、PocketDoc/Dans-Prosemaxx-Instructwriter-Long、PocketDoc/Dans-Prosemaxx-RepRemover-1、PocketDoc/Dans-MemoryCore-CoreCurriculum-Small、AquaV/US-Army-Survival-Sharegpt、AquaV/Multi-Environment-Operations-Sharegpt、AquaV/Resistance-Sharegpt、AquaV/Interrogation-Sharegpt、AquaV/Chemical-Biological-Safety-Applications-Sharegpt、AquaV/Energetic-Materials-Sharegpt、PocketDoc/Dans-Mathmaxx、PJMixers/Math-Multiturn-1K-ShareGPT、PocketDoc/Dans-Taskmaxx、PocketDoc/Dans-Taskmaxx-DataPrepper、PocketDoc/Dans-Taskmaxx-ConcurrentQA-Reworked、PocketDoc/Dans-Taskmaxx-TableGPT、PocketDoc/Dans-Taskmaxx-SciRIFF、PocketDoc/Dans-Taskmaxx-Edit、PocketDoc/Dans-Toolmaxx-Agent、PocketDoc/Dans-Toolmaxx-ShellCommands、PocketDoc/Dans-Toolmaxx-Functions-Toolbench、PocketDoc/Dans-Toolmaxx-Functions-ToolACE、PocketDoc/Dans-Toolmaxx-Functions-apigen-subset、PocketDoc/Dans-Assistantmaxx-OpenAssistant2、PocketDoc/Dans-Assistantmaxx-Opus-Merge-2、PocketDoc/Dans-Assistantmaxx-sonnetorca-subset、PocketDoc/Dans-Assistantmaxx-sonnetorca-subset-2、PocketDoc/Dans-Assistantmaxx-Synthia、PocketDoc/Dans-Assistantmaxx-ASL、PocketDoc/Dans-Assistantmaxx-PersonaLLM-Opus、PocketDoc/Dans-Assistantmaxx-LongAlign、PocketDoc/Dans-Assistantmaxx-OpenLeecher-Instruct、PocketDoc/Dans-Assistantmaxx-Tulu3-IF、PocketDoc/Dans-Systemmaxx、PocketDoc/Dans-Logicmaxx-SAT-AP、PJMixers/grimulkan_theory-of-mind-ShareGPT、PJMixers/grimulkan_physical-reasoning-ShareGPT、PocketDoc/Dans-Reasoningmaxx-NaturalReasoning、PocketDoc/Dans-Reasoningmaxx-WebInstruct、PocketDoc/Dans-Reasoningmaxx-GeneralReasoning、PocketDoc/Dans-Assistantmaxx-ClosedInstruct |
支持语言 |
en、ar、de、fr、es、hi、pt、ja、ko |
基础模型 |
PocketDoc/Dans-PersonalityEngine-V1.3.0-12b |
管道标签 |
text-generation |
库名称 |
transformers |