Skywork-OR1-7B开源大语言模型 - 多种量化版本适配不同硬件需求

首页

Skywork Skywork OR1 7B GGUF

由 bartowski 开发

Skywork-OR1-7B 是一个 7B 参数规模的大语言模型，提供多种量化版本以适应不同硬件需求。

大型语言模型 #多量化选择 #轻量化部署 #ARM优化

下载量 634

发布时间 : 5/13/2025

模型简介

Skywork-OR1-7B 是一个高效的大语言模型，支持多种量化选项，适用于不同计算资源和性能需求的场景。

模型特点

多种量化选项

提供从 BF16 到 Q2_K 的多种量化版本，适应不同硬件和性能需求。

高质量推荐

推荐使用 Q6_K_L、Q6_K、Q5_K_L 等高质量量化版本，接近完美性能。

ARM/AVX 优化

支持在线重打包，优化 ARM 和 AVX 设备的性能。

嵌入/输出权重优化

部分量化方法在嵌入和输出权重上使用 Q8_0 量化，提升模型性能。

模型能力

文本生成

语言理解

多轮对话

使用案例

自然语言处理

文本生成

生成高质量的自然语言文本，适用于内容创作、故事生成等场景。

对话系统

构建智能对话系统，支持多轮交互和上下文理解。

研究与开发

模型量化研究

研究不同量化方法对模型性能和资源消耗的影响。

🚀 Skywork-OR1-7B的Llamacpp imatrix量化版本

本项目是对Skywork-OR1-7B模型进行的Llamacpp imatrix量化处理，旨在提供不同量化类型的模型文件，以满足不同硬件和性能需求。通过使用特定的量化方法和数据集，生成了多种量化类型的模型文件，用户可以根据自身的硬件条件和使用场景选择合适的文件进行下载和使用。

🚀 快速开始

运行环境

可以在 LM Studio 中运行这些量化模型。
也可以直接使用 llama.cpp 或任何基于llama.cpp的项目来运行。

提示格式

<｜begin▁of▁sentence｜>{system_prompt}<｜User｜>{prompt}<｜Assistant｜><｜end▁of▁sentence｜><｜Assistant｜>

✨ 主要特性

量化方法

使用 llama.cpp 发布版本 b5338 进行量化。所有量化均使用imatrix选项，并结合来自此处的数据集。

模型信息

原始模型：Skywork/Skywork-OR1-7B
量化类型：提供了多种量化类型的模型文件，包括bf16、Q8_0、Q6_K_L等，以满足不同的性能和质量需求。

📦 安装指南

使用huggingface-cli下载

首先，确保你已经安装了huggingface-cli：

pip install -U "huggingface_hub[cli]"

然后，你可以指定要下载的特定文件：

huggingface-cli download bartowski/Skywork_Skywork-OR1-7B-GGUF --include "Skywork_Skywork-OR1-7B-Q4_K_M.gguf" --local-dir ./

如果模型文件大于50GB，它会被分割成多个文件。要将它们全部下载到本地文件夹，请运行：

huggingface-cli download bartowski/Skywork_Skywork-OR1-7B-GGUF --include "Skywork_Skywork-OR1-7B-Q8_0/*" --local-dir ./

你可以指定一个新的本地目录（如Skywork_Skywork-OR1-7B-Q8_0），也可以将它们全部下载到当前目录（./）。

💻 使用示例

基础用法

按照上述提示格式构建输入，然后在相应的运行环境（如LM Studio或llama.cpp）中运行模型。

高级用法

根据不同的硬件和性能需求，选择合适的量化类型和模型文件。例如，如果你希望模型运行速度尽可能快，可以选择文件大小比GPU总VRAM小1 - 2GB的量化文件；如果你追求绝对的最高质量，可以将系统RAM和GPU的VRAM相加，然后选择比该总和小1 - 2GB的量化文件。

📚 详细文档

下载文件选择

文件名	量化类型	文件大小	分割情况	描述
Skywork-OR1-7B-bf16.gguf	bf16	15.24GB	false	完整的BF16权重。
Skywork-OR1-7B-Q8_0.gguf	Q8_0	8.10GB	false	极高质量，通常不需要，但为最大可用量化。
Skywork-OR1-7B-Q6_K_L.gguf	Q6_K_L	6.52GB	false	嵌入和输出权重使用Q8_0。非常高质量，接近完美，推荐。
Skywork-OR1-7B-Q6_K.gguf	Q6_K	6.25GB	false	非常高质量，接近完美，推荐。
Skywork-OR1-7B-Q5_K_L.gguf	Q5_K_L	5.78GB	false	嵌入和输出权重使用Q8_0。高质量，推荐。
Skywork-OR1-7B-Q5_K_M.gguf	Q5_K_M	5.44GB	false	高质量，推荐。
Skywork-OR1-7B-Q5_K_S.gguf	Q5_K_S	5.32GB	false	高质量，推荐。
Skywork-OR1-7B-Q4_K_L.gguf	Q4_K_L	5.09GB	false	嵌入和输出权重使用Q8_0。质量良好，推荐。
Skywork-OR1-7B-Q4_1.gguf	Q4_1	4.87GB	false	旧格式，性能与Q4_K_S相似，但在Apple硅芯片上每瓦处理的令牌数有所提高。
Skywork-OR1-7B-Q4_K_M.gguf	Q4_K_M	4.68GB	false	质量良好，是大多数用例的默认大小，推荐。
Skywork-OR1-7B-Q3_K_XL.gguf	Q3_K_XL	4.57GB	false	嵌入和输出权重使用Q8_0。质量较低但可用，适合低内存情况。
Skywork-OR1-7B-Q4_K_S.gguf	Q4_K_S	4.46GB	false	质量略低，但节省空间，推荐。
Skywork-OR1-7B-Q4_0.gguf	Q4_0	4.44GB	false	旧格式，可为ARM和AVX CPU推理提供在线重新打包。
Skywork-OR1-7B-IQ4_NL.gguf	IQ4_NL	4.44GB	false	与IQ4_XS相似，但略大。可为ARM CPU推理提供在线重新打包。
Skywork-OR1-7B-IQ4_XS.gguf	IQ4_XS	4.22GB	false	质量不错，比Q4_K_S小，性能相似，推荐。
Skywork-OR1-7B-Q3_K_L.gguf	Q3_K_L	4.09GB	false	质量较低但可用，适合低内存情况。
Skywork-OR1-7B-Q3_K_M.gguf	Q3_K_M	3.81GB	false	质量低。
Skywork-OR1-7B-IQ3_M.gguf	IQ3_M	3.57GB	false	中低质量，新方法，性能与Q3_K_M相当。
Skywork-OR1-7B-Q2_K_L.gguf	Q2_K_L	3.55GB	false	嵌入和输出权重使用Q8_0。质量非常低，但出奇地可用。
Skywork-OR1-7B-Q3_K_S.gguf	Q3_K_S	3.49GB	false	质量低，不推荐。
Skywork-OR1-7B-IQ3_XS.gguf	IQ3_XS	3.35GB	false	质量较低，新方法，性能不错，略优于Q3_K_S。
Skywork-OR1-7B-IQ3_XXS.gguf	IQ3_XXS	3.11GB	false	质量较低，新方法，性能不错，与Q3量化相当。
Skywork-OR1-7B-Q2_K.gguf	Q2_K	3.02GB	false	质量非常低，但出奇地可用。
Skywork-OR1-7B-IQ2_M.gguf	IQ2_M	2.78GB	false	质量相对较低，使用了最先进的技术，出奇地可用。