Starcoder2 3b GGUF

🚀 bigcode/starcoder2-3b - GGUF

本倉庫包含 bigcode/starcoder2-3b 的 GGUF 格式模型文件。這些文件由 TensorBlock 提供的機器進行量化，並且與截至 提交 b4011 的 llama.cpp 兼容。

✨ 主要特性

• 任務類型：文本生成。
• 數據集：使用了 bigcode/the-stack-v2-train 數據集進行訓練。
• 指標表現：在多個數據集上有不同的指標表現，如在 CruxEval - I 數據集上的 pass@1 為 32.7，在 HumanEval 數據集上的 pass@1 為 31.7 等。

📚 詳細文檔

模型指標

我們的項目

項目名稱	項目描述	項目圖片	項目鏈接
Forge	一個與 OpenAI 兼容的多供應商路由層。		點擊嘗試
Awesome MCP Servers	一個全面的模型上下文協議 (MCP) 服務器集合。		查看詳情
TensorBlock Studio	一個輕量級、開放且可擴展的多 LLM 交互工作室。		查看詳情

模型文件規格

📦 安裝指南

命令行方式

首先，安裝 Huggingface 客戶端：

pip install -U "huggingface_hub[cli]"

然後，將單個模型文件下載到本地目錄：

huggingface-cli download tensorblock/starcoder2-3b-GGUF --include "starcoder2-3b-Q2_K.gguf" --local-dir MY_LOCAL_DIR

如果你想按模式下載多個模型文件（例如 *Q4_K*gguf），可以嘗試：

huggingface-cli download tensorblock/starcoder2-3b-GGUF --local-dir MY_LOCAL_DIR --local-dir-use-symlinks False --include='*Q4_K*gguf'

📄 許可證

本模型使用 bigcode - openrail - m 許可證。