Deepseek R1 Medical COT GGUF

🚀 emredeveloper/DeepSeek-R1-Medical-COT - GGUF

本仓库包含适用于 emredeveloper/DeepSeek-R1-Medical-COT 的 GGUF 格式模型文件。这些文件由 TensorBlock 提供的机器进行量化，并且与截至 提交 b4823 的 llama.cpp 兼容。

🚀 快速开始

本项目提供了特定医学模型的量化文件，方便在 llama.cpp 中使用。下面将介绍相关信息及下载方法。

✨ 主要特性

• 提供多种量化类型的模型文件，可根据需求选择不同大小和质量的文件。
• 模型文件与特定版本的 llama.cpp 兼容。

📦 安装指南

命令行方式

首先，安装 Huggingface 客户端：

pip install -U "huggingface_hub[cli]"

然后，将单个模型文件下载到本地目录：

huggingface-cli download tensorblock/DeepSeek-R1-Medical-COT-GGUF --include "DeepSeek-R1-Medical-COT-Q2_K.gguf" --local-dir MY_LOCAL_DIR

如果你想按模式（例如 *Q4_K*gguf）下载多个模型文件，可以尝试：

huggingface-cli download tensorblock/DeepSeek-R1-Medical-COT-GGUF --local-dir MY_LOCAL_DIR --local-dir-use-symlinks False --include='*Q4_K*gguf'

📚 详细文档

我们的项目

提示模板

<｜begin▁of▁sentence｜>{system_prompt}<｜User｜>{prompt}<｜Assistant｜>

模型文件规格

📄 许可证

本项目采用 Apache-2.0 许可证。