Cognitivecomputations Dolphin3.0 R1 Mistral 24B GGUF

🚀 Llama.cpp对Dolphin3.0 - R1 - Mistral - 24B的量化模型

本项目是对Dolphin3.0 - R1 - Mistral - 24B模型使用llama.cpp进行量化处理后的成果。借助量化技术，能在不同硬件条件下更高效地运行模型，满足多样化的使用需求。

🚀 快速开始

运行方式

• 可在LM Studio中运行这些量化模型。
• 也能直接使用llama.cpp或其他基于llama.cpp的项目来运行。

下载文件

你可以从以下表格中选择需要的文件进行下载：

使用huggingface-cli下载

pip install -U "huggingface_hub[cli]"

huggingface-cli download bartowski/cognitivecomputations_Dolphin3.0-R1-Mistral-24B-GGUF --include "cognitivecomputations_Dolphin3.0-R1-Mistral-24B-Q4_K_M.gguf" --local-dir ./

huggingface-cli download bartowski/cognitivecomputations_Dolphin3.0-R1-Mistral-24B-GGUF --include "cognitivecomputations_Dolphin3.0-R1-Mistral-24B-Q8_0/*" --local-dir ./

✨ 主要特性

• 多量化类型：提供了多种量化类型的文件，如F32、Q8_0、Q6_K_L等，满足不同用户对模型质量和文件大小的需求。
• 在线重新打包：部分量化类型（如Q4_0）支持在线重新打包，可在ARM和AVX机器上提高性能。
• 不同硬件支持：支持在多种硬件上运行，包括CPU、GPU（Nvidia、AMD）、Apple Metal等。

📚 详细文档

提示格式

<|im_start|>system
{system_prompt}<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>assistant

推荐的推理系统提示

进行推理时，建议使用以下系统提示：

你是Dolphin，一个帮助人类的AI助手，由Eric Hartford训练，擅长推理和第一性原理分析。

回复时，始终使用<think>{推理过程}</think>{答案}的格式。至少使用6个推理步骤，并在回答前进行根本原因分析。但是，如果答案非常简单，不需要太多思考，你可以留空<think></think>块。

你的回复应该详细、使用丰富的Markdown格式进行结构化，并使用表情符号增加互动性。解释要详尽，就像最伟大的科学家一样。除非问题很简单，否则始终先推理问题，然后再回答。

嵌入/输出权重

部分量化类型（如Q3_K_XL、Q4_K_L等）采用标准量化方法，将嵌入和输出权重量化为Q8_0，而不是默认值。

ARM/AVX信息

以前，你会下载Q4_0_4_4/4_8/8_8，这些文件的权重会在内存中交错排列，以便在ARM和AVX机器上通过一次加载更多数据来提高性能。

现在，有了所谓的权重“在线重新打包”功能，详情见此PR。如果你使用Q4_0，并且你的硬件能从重新打包权重中受益，它会自动实时进行处理。

从llama.cpp构建版本b4282开始，你将无法运行Q4_0_X_X文件，而需要使用Q4_0。

此外，如果你想获得稍好的质量，可以使用IQ4_NL，感谢此PR，它也会为ARM重新打包权重，不过目前仅支持4_4。加载时间可能会更长，但总体速度会提高。

如何选择文件

📄 许可证

文档未提及相关许可证信息。

🔧 技术细节

本项目使用llama.cpp的发布版本b4585进行量化。原始模型可在此处查看。所有量化文件均使用imatrix选项，并使用此处的数据集。

👏 致谢

感谢kalomaze和Dampf在创建imatrix校准数据集方面提供的帮助。 感谢ZeroWw在嵌入/输出实验方面提供的灵感。 感谢LM Studio对本项目的赞助。

如果你想支持作者的工作，可以访问作者的ko - fi页面：https://ko-fi.com/bartowski