Summllama3.2 3B GGUF

🚀 DISLab/SummLlama3.2-3B - GGUF

本项目包含 DISLab/SummLlama3.2-3B 的 GGUF 格式模型文件。这些文件是使用 TensorBlock 提供的机器进行量化的，并且与截至 提交 b4011 的 llama.cpp 兼容。

🚀 快速开始

项目信息

相关项目

项目名称	项目介绍	项目图片	项目链接
Awesome MCP Servers	一个全面的模型上下文协议（MCP）服务器集合。		查看项目
TensorBlock Studio	一个轻量级、开放且可扩展的多大语言模型交互工作室。		查看项目

提示模板

<|begin_of_text|><|start_header_id|>system<|end_header_id|>

知识截止日期：2023年12月
当前日期：2024年11月20日

{system_prompt}<|eot_id|><|start_header_id|>user<|end_header_id|>

{prompt}<|eot_id|><|start_header_id|>assistant<|end_header_id|>

模型文件规格

📦 安装指南

命令行下载

首先，安装 Huggingface 客户端：

pip install -U "huggingface_hub[cli]"

然后，将单个模型文件下载到本地目录：

huggingface-cli download tensorblock/SummLlama3.2-3B-GGUF --include "SummLlama3.2-3B-Q2_K.gguf" --local-dir MY_LOCAL_DIR

如果你想按模式（例如 *Q4_K*gguf）下载多个模型文件，可以尝试：

huggingface-cli download tensorblock/SummLlama3.2-3B-GGUF --local-dir MY_LOCAL_DIR --local-dir-use-symlinks False --include='*Q4_K*gguf'