🚀 NikolayKozloff/DeepSeek-R1-ReDistill-Qwen-7B-v1.1-Q8_0-GGUF
本模型通過 llama.cpp 藉助 ggml.ai 的 GGUF-my-repo 空間,從 mobiuslabsgmbh/DeepSeek-R1-ReDistill-Qwen-7B-v1.1
轉換為 GGUF 格式。有關該模型的更多詳細信息,請參考 原始模型卡片。
🚀 快速開始
✨ 主要特性
- 模型類型:文本生成
- 基礎模型:mobiuslabsgmbh/DeepSeek-R1-ReDistill-Qwen-7B-v1.1
- 訓練狀態:未進行訓練
- 推理狀態:支持推理
屬性 |
詳情 |
模型類型 |
文本生成 |
基礎模型 |
mobiuslabsgmbh/DeepSeek-R1-ReDistill-Qwen-7B-v1.1 |
訓練狀態 |
未訓練 |
推理狀態 |
支持推理 |
許可證 |
MIT |
📦 安裝指南
使用 Homebrew 安裝 llama.cpp(適用於 Mac 和 Linux)
brew install llama.cpp
💻 使用示例
與 llama.cpp 結合使用
命令行界面(CLI)
llama-cli --hf-repo NikolayKozloff/DeepSeek-R1-ReDistill-Qwen-7B-v1.1-Q8_0-GGUF --hf-file deepseek-r1-redistill-qwen-7b-v1.1-q8_0.gguf -p "The meaning to life and the universe is"
服務器模式
llama-server --hf-repo NikolayKozloff/DeepSeek-R1-ReDistill-Qwen-7B-v1.1-Q8_0-GGUF --hf-file deepseek-r1-redistill-qwen-7b-v1.1-q8_0.gguf -c 2048
直接使用 Llama.cpp 倉庫中的使用步驟
步驟 1:從 GitHub 克隆 llama.cpp
git clone https://github.com/ggerganov/llama.cpp
步驟 2:進入 llama.cpp 文件夾並使用 LLAMA_CURL=1
標誌以及其他特定硬件標誌(例如,在 Linux 上使用英偉達 GPU 時使用 LLAMA_CUDA=1
)進行編譯
cd llama.cpp && LLAMA_CURL=1 make
步驟 3:通過主二進制文件運行推理
./llama-cli --hf-repo NikolayKozloff/DeepSeek-R1-ReDistill-Qwen-7B-v1.1-Q8_0-GGUF --hf-file deepseek-r1-redistill-qwen-7b-v1.1-q8_0.gguf -p "The meaning to life and the universe is"
或者
./llama-server --hf-repo NikolayKozloff/DeepSeek-R1-ReDistill-Qwen-7B-v1.1-Q8_0-GGUF --hf-file deepseek-r1-redistill-qwen-7b-v1.1-q8_0.gguf -c 2048
⚠️ 重要提示
你也可以直接通過 Llama.cpp 倉庫中列出的 使用步驟 使用此檢查點。
📄 許可證
本項目採用 MIT 許可證。