Neuraldaredevil 8B Abliterated GGUF

🚀 NeuralDaredevil-8B-abliterated量化模型

本项目是对NeuralDaredevil-8B-abliterated模型进行量化处理，提供了多种量化类型的模型文件，方便不同硬件条件和需求的用户使用。

🚀 快速开始

安装依赖

首先，确保你已经安装了huggingface-cli：

pip install -U "huggingface_hub[cli]"

下载模型文件

你可以根据自己的需求选择下载特定的模型文件，而不是整个分支。以下是一些下载示例：

• 下载单个文件：

huggingface-cli download bartowski/NeuralDaredevil-8B-abliterated-GGUF --include "NeuralDaredevil-8B-abliterated-Q4_K_M.gguf" --local-dir ./

• 如果模型文件大于50GB，它会被拆分成多个文件。要将它们全部下载到本地文件夹，可以运行：

huggingface-cli download bartowski/NeuralDaredevil-8B-abliterated-GGUF --include "NeuralDaredevil-8B-abliterated-Q8_0.gguf/*" --local-dir NeuralDaredevil-8B-abliterated-Q8_0

你可以指定一个新的本地目录（如NeuralDaredevil-8B-abliterated-Q8_0），也可以将它们全部下载到当前目录（./）。

✨ 主要特性

• 多种量化类型：提供了从高到低不同质量和大小的量化模型文件，如Q8_0、Q6_K、Q5_K_M等，满足不同用户的需求。
• 特定数据集量化：所有量化模型均使用imatrix选项，并使用了特定数据集进行量化。
• 明确的提示格式：提供了清晰的提示格式，方便用户使用。

📦 安装指南

安装依赖：

pip install -U "huggingface_hub[cli]"

💻 使用示例

基础用法

下载模型文件：

huggingface-cli download bartowski/NeuralDaredevil-8B-abliterated-GGUF --include "NeuralDaredevil-8B-abliterated-Q4_K_M.gguf" --local-dir ./

高级用法

下载拆分的大模型文件：

huggingface-cli download bartowski/NeuralDaredevil-8B-abliterated-GGUF --include "NeuralDaredevil-8B-abliterated-Q8_0.gguf/*" --local-dir NeuralDaredevil-8B-abliterated-Q8_0

📚 详细文档

模型信息

提示格式

<|begin_of_text|><|start_header_id|>system<|end_header_id|>

{system_prompt}<|eot_id|><|start_header_id|>user<|end_header_id|>

{prompt}<|eot_id|><|start_header_id|>assistant<|end_header_id|>

下载文件选择

模型选择建议

首先，确定你可以运行的模型大小。这需要你了解自己的系统内存（RAM）和/或显卡显存（VRAM）。

• 如果你希望模型运行速度尽可能快，应选择文件大小比你的显卡显存小1 - 2GB的量化模型，以便将整个模型放入显卡显存中。
• 如果你追求绝对的最高质量，可以将系统内存和显卡显存相加，然后选择文件大小比该总和小1 - 2GB的量化模型。

接下来，你需要决定是否使用“I - 量化”或“K - 量化”：

• 如果你不想考虑太多，选择K - 量化模型，格式为QX_K_X，如Q5_K_M。
• 如果你想深入了解，可以查看llama.cpp feature matrix。一般来说，如果你目标是低于Q4的量化，并且使用cuBLAS（Nvidia）或rocBLAS（AMD），可以考虑I - 量化模型，格式为IQX_X，如IQ3_M。这些模型较新，相同大小下性能更好。

I - 量化模型也可以在CPU和Apple Metal上使用，但速度会比K - 量化模型慢。此外，I - 量化模型与Vulcan（AMD）不兼容，如果你使用AMD显卡，请确认使用的是rocBLAS版本还是Vulcan版本。

模型性能参考

Artefact2提供了一份带有图表的详细文章，展示了各种量化模型的性能：https://gist.github.com/Artefact2/b5f810600771265fc1e39442288e8ec9

🔧 技术细节

• 量化工具：使用llama.cpp的b3086版本进行量化。
• 原始模型：https://huggingface.co/mlabonne/NeuralDaredevil-8B-abliterated
• 量化选项：所有量化模型均使用imatrix选项，并使用了此处的数据集。

📄 许可证

其他许可证

💡 使用建议

• 在选择模型文件时，务必根据自己的硬件配置进行选择，以获得最佳性能。
• 如果你对模型性能有疑问，可以参考Artefact2提供的详细文章。
• 如果你想支持作者的工作，可以访问作者的ko - fi页面。