Summllama3.1 8B GGUF

🚀 DISLab/SummLlama3.1-8B - GGUF

本項目提供了 DISLab/SummLlama3.1-8B 模型的 GGUF 格式文件。該模型可用於文本摘要任務，藉助 GGUF 格式能更好地適配相關應用場景。

📚 詳細文檔

我們的項目

項目名稱	項目介紹	項目圖片	查看鏈接
Awesome MCP Servers	一個全面的模型上下文協議（MCP）服務器集合。		👀 查看詳情 👀
TensorBlock Studio	一個輕量級、開放且可擴展的多大語言模型交互工作室。		👀 查看詳情 👀

提示模板

<|begin_of_text|><|start_header_id|>system<|end_header_id|>

知識截止日期：2023 年 12 月
當前日期：2024 年 7 月 26 日

{system_prompt}<|eot_id|><|start_header_id|>user<|end_header_id|>

{prompt}<|eot_id|><|start_header_id|>assistant<|end_header_id|>

模型文件規格

📦 安裝指南

命令行下載

首先，安裝 Huggingface 客戶端：

pip install -U "huggingface_hub[cli]"

然後，將單個模型文件下載到本地目錄：

huggingface-cli download tensorblock/SummLlama3.1-8B-GGUF --include "SummLlama3.1-8B-Q2_K.gguf" --local-dir MY_LOCAL_DIR

如果你想按模式（例如 *Q4_K*gguf）下載多個模型文件，可以嘗試以下命令：

huggingface-cli download tensorblock/SummLlama3.1-8B-GGUF --local-dir MY_LOCAL_DIR --local-dir-use-symlinks False --include='*Q4_K*gguf'