Helpingai Dhanishtha 2.0 Preview GGUF

🚀 HelpingAI的Dhanishtha-2.0-preview的Llamacpp imatrix量化模型

本项目是对HelpingAI的Dhanishtha-2.0-preview模型进行量化处理，使用了llama.cpp工具，支持多语言，可用于推理、对话等多种场景。

基本信息

示例

• 复杂谜题解决：“逐步解决这个谜题：我从矿山中被取出，然后被关在一个木盒子里，我从未从中被释放出来，但几乎每个人都在使用我。我是什么？”
• 哲学推理：“解释人工意识的哲学含义，并从不同角度进行思考。”
• 教育解释：“帮我理解量子力学，请慢慢思考后进行解释。”

数据集

• Abhaykoul/Dhanishtha-R1
• open-thoughts/OpenThoughts-114k
• Abhaykoul/Dhanishtha-2.0-SUPERTHINKER
• Abhaykoul/Dhanishtha-2.0

🚀 快速开始

使用 llama.cpp 版本 b5760 进行量化。 原始模型地址：https://huggingface.co/HelpingAI/Dhanishtha-2.0-preview

所有量化模型均使用imatrix选项，并使用 此处 的数据集。

你可以在 LM Studio 中运行这些模型，也可以直接使用 llama.cpp 或任何基于llama.cpp的项目来运行。

✨ 主要特性

• 多语言支持：支持多种语言，包括英语、中文、日语等，满足不同地区用户的需求。
• 推理能力：具备推理和中间思维能力，可用于解决复杂谜题、进行哲学推理等。
• 多种量化选项：提供多种量化模型，可根据硬件资源和性能需求进行选择。

📦 安装指南

使用huggingface-cli下载

首先，确保你已经安装了huggingface-cli：

pip install -U "huggingface_hub[cli]"

然后，你可以指定要下载的具体文件：

huggingface-cli download bartowski/HelpingAI_Dhanishtha-2.0-preview-GGUF --include "HelpingAI_Dhanishtha-2.0-preview-Q4_K_M.gguf" --local-dir ./

如果模型大小超过50GB，它将被分割成多个文件。要将它们全部下载到本地文件夹，请运行：

huggingface-cli download bartowski/HelpingAI_Dhanishtha-2.0-preview-GGUF --include "HelpingAI_Dhanishtha-2.0-preview-Q8_0/*" --local-dir ./

你可以指定一个新的本地目录（如HelpingAI_Dhanishtha-2.0-preview-Q8_0），也可以将它们全部下载到当前目录（./）。

💻 使用示例

提示格式

<|im_start|>system
{system_prompt}<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>assistant

📚 详细文档

下载文件选择

嵌入/输出权重

部分量化模型（如Q3_K_XL、Q4_K_L等）采用标准量化方法，将嵌入和输出权重量化为Q8_0，而非默认值。

ARM/AVX信息

以前，你会下载Q4_0_4_4/4_8/8_8，这些模型的权重会在内存中交错排列，以便在ARM和AVX机器上通过一次加载更多数据来提高性能。

然而，现在有了一种称为“在线重新打包”的权重处理方式，详情见 此PR。如果你使用Q4_0，并且你的硬件能从重新打包权重中受益，它将自动实时进行处理。

从llama.cpp构建版本 b4282 开始，你将无法运行Q4_0_X_X文件，而需要使用Q4_0。

此外，如果你想获得略高的质量，可以使用IQ4_NL，这得益于 此PR，它也会为ARM重新打包权重，但目前仅支持4_4。加载时间可能会更长，但总体速度会提高。

选择哪个文件？

🔧 技术细节

基准测试（AVX2系统 - EPYC7702）

Q4_0_8_8在提示处理方面有不错的提升，在文本生成方面有小幅提升。

📄 许可证

本项目采用Apache 2.0许可证。

致谢

感谢kalomaze和Dampf协助创建imatrix校准数据集。 感谢ZeroWw启发了对嵌入/输出的实验。 感谢LM Studio赞助本项目。

如果你想支持我的工作，请访问我的ko-fi页面：https://ko-fi.com/bartowski