Llama 3 70B Instruct Abliterated GGUF

🚀 Llama-3-70B-Instruct-abliterated的Llamacpp imatrix量化版本

本项目使用 llama.cpp 发布版本 b2854 进行量化。 原始模型地址：https://huggingface.co/failspy/llama-3-70B-Instruct-abliterated 所有量化版本均使用imatrix选项，并采用来自此处的数据集。

🚀 快速开始

提示词格式

<|begin_of_text|><|start_header_id|>system<|end_header_id|>

{system_prompt}<|eot_id|><|start_header_id|>user<|end_header_id|>

{prompt}<|eot_id|><|start_header_id|>assistant<|end_header_id|>

下载文件

你可以从下方表格中选择并下载单个文件（而非整个分支）：

使用huggingface-cli下载

首先，确保你已安装huggingface-cli：

pip install -U "huggingface_hub[cli]"

然后，你可以指定要下载的特定文件：

huggingface-cli download bartowski/llama-3-70B-Instruct-abliterated-GGUF --include "llama-3-70B-Instruct-abliterated-Q4_K_M.gguf" --local-dir ./ --local-dir-use-symlinks False

如果模型大小超过50GB，它将被分割成多个文件。要将它们全部下载到本地文件夹，请运行：

huggingface-cli download bartowski/llama-3-70B-Instruct-abliterated-GGUF --include "llama-3-70B-Instruct-abliterated-Q8_0.gguf/*" --local-dir llama-3-70B-Instruct-abliterated-Q8_0 --local-dir-use-symlinks False

你可以指定一个新的本地目录（如llama-3-70B-Instruct-abliterated-Q8_0），也可以将它们全部下载到当前目录（./）。

📚 详细文档

如何选择文件？

Artefact2在此处提供了一篇很棒的文章，带有展示各种性能的图表。 首先，你需要确定你能够运行多大的模型。为此，你需要了解你拥有多少系统内存（RAM）和/或显存（VRAM）。 如果你希望模型运行得尽可能快，你需要将整个模型加载到GPU的显存中。选择文件大小比GPU总显存小1 - 2GB的量化版本。 如果你追求绝对的最高质量，将系统内存和GPU显存相加，然后选择文件大小比该总和小1 - 2GB的量化版本。 接下来，你需要决定是否使用“I量化”或“K量化”。 如果你不想考虑太多，选择K量化版本。它们的格式为“QX_K_X”，如Q5_K_M。 如果你想深入了解，可以查看这个非常有用的功能图表： llama.cpp功能矩阵 但基本上，如果你目标是低于Q4的量化版本，并且你使用的是cuBLAS（Nvidia）或rocBLAS（AMD），你应该考虑I量化版本。它们的格式为IQX_X，如IQ3_M。这些是较新的版本，在相同大小下提供更好的性能。 这些I量化版本也可以在CPU和Apple Metal上使用，但比对应的K量化版本慢，因此你需要在速度和性能之间进行权衡。 I量化版本不兼容Vulcan（同样适用于AMD），因此如果你有AMD显卡，请仔细检查你使用的是rocBLAS版本还是Vulcan版本。在撰写本文时，LM Studio有一个支持ROCm的预览版本，其他推理引擎也有针对ROCm的特定版本。

支持作者

如果你想支持作者的工作，可以访问他的ko-fi页面：https://ko-fi.com/bartowski

📄 许可证

本项目使用的许可证为：llama3，详情请见LICENSE。