Skywork-SWE-32B开源大语言模型 - 免费部署，资源受限环境也能高效运行

首页

Skywork Skywork SWE 32B GGUF

由 bartowski 开发

Skywork-SWE-32B是一个32B参数的大语言模型，经过Llamacpp imatrix量化，可在资源受限环境下高效运行。

大型语言模型开源协议:Apache-2.0 #大模型量化 #低资源部署 #多精度选择

下载量 921

发布时间 : 6/19/2025

模型简介

该模型通过量化技术显著减少存储空间和计算资源需求，提升运行效率，同时保持较高性能。适用于多种自然语言处理任务。

模型特点

多种量化类型

提供丰富的量化类型（如bf16、Q8_0、Q6_K_L等），满足不同性能和质量需求。

资源高效

通过量化技术显著减少模型存储空间和计算资源需求，适合资源受限环境。

在线重打包

部分量化模型支持在线重打包，可根据硬件自动优化权重，提升性能。

模型能力

文本生成

对话系统

自然语言理解

使用案例

自然语言处理

对话系统

可用于构建高效的对话系统，支持多轮交互。

在资源受限环境下保持较高性能

文本生成

适用于各种文本生成任务，如内容创作、摘要生成等。

生成质量接近原始模型

🚀 Skywork对Skywork-SWE-32B的Llamacpp imatrix量化

本项目是对Skywork-SWE-32B模型进行的Llamacpp imatrix量化，解决了大模型在资源受限环境下难以运行的问题，通过量化能在保证一定性能的前提下，显著减少模型的存储空间和计算资源需求，提升模型的运行效率。

🚀 快速开始

你可以通过以下方式使用这些量化模型：

在 LM Studio 中运行。
直接使用 llama.cpp 或任何基于 llama.cpp 的项目运行。

✨ 主要特性

多种量化类型：提供了丰富的量化类型供选择，如 bf16、Q8_0、Q6_K_L 等，以满足不同的性能和质量需求。
在线重打包：部分量化模型支持在线重打包，可根据硬件自动优化权重，提升性能。

📦 安装指南

使用huggingface-cli下载

首先，确保你已经安装了 huggingface-cli：

pip install -U "huggingface_hub[cli]"

然后，你可以指定要下载的特定文件：

huggingface-cli download bartowski/Skywork_Skywork-SWE-32B-GGUF --include "Skywork_Skywork-SWE-32B-Q4_K_M.gguf" --local-dir ./

如果模型大于50GB，它会被分割成多个文件。要将它们全部下载到本地文件夹，请运行：

huggingface-cli download bartowski/Skywork_Skywork-SWE-32B-GGUF --include "Skywork_Skywork-SWE-32B-Q8_0/*" --local-dir ./

你可以指定一个新的本地目录（如 Skywork_Skywork-SWE-32B-Q8_0），也可以将它们全部下载到当前目录（./）。

💻 使用示例

基础用法

提示格式如下：

<|im_start|>system
{system_prompt}<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>assistant

📚 详细文档

下载文件

你可以从以下列表中下载单个文件（而非整个分支）：

文件名	量化类型	文件大小	分割情况	描述
Skywork-SWE-32B-bf16.gguf	bf16	65.54GB	true	完整的BF16权重。
Skywork-SWE-32B-Q8_0.gguf	Q8_0	34.82GB	false	极高质量，通常不需要，但提供了最大可用量化。
Skywork-SWE-32B-Q6_K_L.gguf	Q6_K_L	27.26GB	false	嵌入和输出权重使用Q8_0。非常高质量，接近完美，推荐。
Skywork-SWE-32B-Q6_K.gguf	Q6_K	26.89GB	false	非常高质量，接近完美，推荐。
Skywork-SWE-32B-Q5_K_L.gguf	Q5_K_L	23.74GB	false	嵌入和输出权重使用Q8_0。高质量，推荐。
Skywork-SWE-32B-Q5_K_M.gguf	Q5_K_M	23.26GB	false	高质量，推荐。
Skywork-SWE-32B-Q5_K_S.gguf	Q5_K_S	22.64GB	false	高质量，推荐。
Skywork-SWE-32B-Q4_1.gguf	Q4_1	20.64GB	false	旧格式，性能与Q4_K_S相似，但在苹果硅芯片上的每瓦令牌数有所提高。
Skywork-SWE-32B-Q4_K_L.gguf	Q4_K_L	20.43GB	false	嵌入和输出权重使用Q8_0。质量良好，推荐。
Skywork-SWE-32B-Q4_K_M.gguf	Q4_K_M	19.85GB	false	质量良好，是大多数用例的默认大小，推荐。
Skywork-SWE-32B-Q4_K_S.gguf	Q4_K_S	18.78GB	false	质量略低，但节省更多空间，推荐。
Skywork-SWE-32B-Q4_0.gguf	Q4_0	18.71GB	false	旧格式，支持为ARM和AVX CPU推理进行在线重打包。
Skywork-SWE-32B-IQ4_NL.gguf	IQ4_NL	18.68GB	false	与IQ4_XS相似，但略大。支持为ARM CPU推理进行在线重打包。
Skywork-SWE-32B-Q3_K_XL.gguf	Q3_K_XL	17.93GB	false	嵌入和输出权重使用Q8_0。质量较低但可用，适合低内存情况。
Skywork-SWE-32B-IQ4_XS.gguf	IQ4_XS	17.69GB	false	质量不错，比Q4_K_S小，性能相似，推荐。
Skywork-SWE-32B-Q3_K_L.gguf	Q3_K_L	17.25GB	false	质量较低但可用，适合低内存情况。
Skywork-SWE-32B-Q3_K_M.gguf	Q3_K_M	15.94GB	false	低质量。
Skywork-SWE-32B-IQ3_M.gguf	IQ3_M	14.81GB	false	中低质量，新方法，性能与Q3_K_M相当。
Skywork-SWE-32B-Q3_K_S.gguf	Q3_K_S	14.39GB	false	低质量，不推荐。
Skywork-SWE-32B-IQ3_XS.gguf	IQ3_XS	13.71GB	false	质量较低，新方法，性能不错，略优于Q3_K_S。
Skywork-SWE-32B-Q2_K_L.gguf	Q2_K_L	13.07GB	false	嵌入和输出权重使用Q8_0。质量非常低，但出人意料地可用。
Skywork-SWE-32B-IQ3_XXS.gguf	IQ3_XXS	12.84GB	false	质量较低，新方法，性能不错，与Q3量化相当。
Skywork-SWE-32B-Q2_K.gguf	Q2_K	12.31GB	false	质量非常低，但出人意料地可用。
Skywork-SWE-32B-IQ2_M.gguf	IQ2_M	11.26GB	false	质量相对较低，使用了最先进的技术，出人意料地可用。
Skywork-SWE-32B-IQ2_S.gguf	IQ2_S	10.39GB	false	低质量，使用了最先进的技术，可用。
Skywork-SWE-32B-IQ2_XS.gguf	IQ2_XS	9.96GB	false	低质量，使用了最先进的技术，可用。
Skywork-SWE-32B-IQ2_XXS.gguf	IQ2_XXS	9.03GB	false	质量非常低，使用了最先进的技术，可用。