🚀 GrimsenClory/Seed-Coder-8B-Reasoning-bf16-Q6_K-GGUF
本模型是使用llama.cpp,通過ggml.ai的GGUF-my-repo空間,從ByteDance-Seed/Seed-Coder-8B-Reasoning-bf16
轉換為GGUF格式的。有關該模型的更多詳細信息,請參考原始模型卡片。
🚀 快速開始
📦 安裝指南
通過brew安裝llama.cpp(適用於Mac和Linux)
brew install llama.cpp
💻 使用示例
基礎用法
可以調用llama.cpp的服務器或命令行界面。
命令行界面(CLI):
llama-cli --hf-repo GrimsenClory/Seed-Coder-8B-Reasoning-bf16-Q6_K-GGUF --hf-file seed-coder-8b-reasoning-bf16-q6_k.gguf -p "The meaning to life and the universe is"
服務器(Server):
llama-server --hf-repo GrimsenClory/Seed-Coder-8B-Reasoning-bf16-Q6_K-GGUF --hf-file seed-coder-8b-reasoning-bf16-q6_k.gguf -c 2048
高級用法
你也可以直接按照Llama.cpp倉庫中列出的使用步驟使用此檢查點。
步驟1:從GitHub克隆llama.cpp。
git clone https://github.com/ggerganov/llama.cpp
步驟2:進入llama.cpp文件夾,並使用LLAMA_CURL=1
標誌以及其他特定於硬件的標誌進行編譯(例如,在Linux上使用Nvidia GPU時使用LLAMA_CUDA=1
)。
cd llama.cpp && LLAMA_CURL=1 make
步驟3:通過主二進制文件運行推理。
./llama-cli --hf-repo GrimsenClory/Seed-Coder-8B-Reasoning-bf16-Q6_K-GGUF --hf-file seed-coder-8b-reasoning-bf16-q6_k.gguf -p "The meaning to life and the universe is"
或者
./llama-server --hf-repo GrimsenClory/Seed-Coder-8B-Reasoning-bf16-Q6_K-GGUF --hf-file seed-coder-8b-reasoning-bf16-q6_k.gguf -c 2048
📄 許可證
本項目採用MIT許可證。
屬性 |
詳情 |
基礎模型 |
ByteDance-Seed/Seed-Coder-8B-Reasoning-bf16 |
庫名稱 |
transformers |
許可證 |
MIT |
任務類型 |
文本生成 |
標籤 |
llama-cpp、gguf-my-repo |