Skywork-OR1-7B開源大語言模型 - 多種量化版本適配不同硬件需求

首頁

Skywork Skywork OR1 7B GGUF

由bartowski開發

Skywork-OR1-7B 是一個 7B 參數規模的大語言模型，提供多種量化版本以適應不同硬件需求。

大型語言模型 #多量化選擇 #輕量化部署 #ARM優化

下載量 634

發布時間 : 5/13/2025

模型概述

Skywork-OR1-7B 是一個高效的大語言模型，支持多種量化選項，適用於不同計算資源和性能需求的場景。

模型特點

多種量化選項

提供從 BF16 到 Q2_K 的多種量化版本，適應不同硬件和性能需求。

高質量推薦

推薦使用 Q6_K_L、Q6_K、Q5_K_L 等高質量量化版本，接近完美性能。

ARM/AVX 優化

支持在線重打包，優化 ARM 和 AVX 設備的性能。

嵌入/輸出權重優化

部分量化方法在嵌入和輸出權重上使用 Q8_0 量化，提升模型性能。

模型能力

文本生成

語言理解

多輪對話

使用案例

自然語言處理

文本生成

生成高質量的自然語言文本，適用於內容創作、故事生成等場景。

對話系統

構建智能對話系統，支持多輪交互和上下文理解。

研究與開發

模型量化研究

研究不同量化方法對模型性能和資源消耗的影響。

🚀 Skywork-OR1-7B的Llamacpp imatrix量化版本

本項目是對Skywork-OR1-7B模型進行的Llamacpp imatrix量化處理，旨在提供不同量化類型的模型文件，以滿足不同硬件和性能需求。通過使用特定的量化方法和數據集，生成了多種量化類型的模型文件，用戶可以根據自身的硬件條件和使用場景選擇合適的文件進行下載和使用。

🚀 快速開始

運行環境

可以在 LM Studio 中運行這些量化模型。
也可以直接使用 llama.cpp 或任何基於llama.cpp的項目來運行。

提示格式

<｜begin▁of▁sentence｜>{system_prompt}<｜User｜>{prompt}<｜Assistant｜><｜end▁of▁sentence｜><｜Assistant｜>

✨ 主要特性

量化方法

使用 llama.cpp 發佈版本 b5338 進行量化。所有量化均使用imatrix選項，並結合來自此處的數據集。

模型信息

原始模型：Skywork/Skywork-OR1-7B
量化類型：提供了多種量化類型的模型文件，包括bf16、Q8_0、Q6_K_L等，以滿足不同的性能和質量需求。

📦 安裝指南

使用huggingface-cli下載

首先，確保你已經安裝了huggingface-cli：

pip install -U "huggingface_hub[cli]"

然後，你可以指定要下載的特定文件：

huggingface-cli download bartowski/Skywork_Skywork-OR1-7B-GGUF --include "Skywork_Skywork-OR1-7B-Q4_K_M.gguf" --local-dir ./

如果模型文件大於50GB，它會被分割成多個文件。要將它們全部下載到本地文件夾，請運行：

huggingface-cli download bartowski/Skywork_Skywork-OR1-7B-GGUF --include "Skywork_Skywork-OR1-7B-Q8_0/*" --local-dir ./

你可以指定一個新的本地目錄（如Skywork_Skywork-OR1-7B-Q8_0），也可以將它們全部下載到當前目錄（./）。

💻 使用示例

基礎用法

按照上述提示格式構建輸入，然後在相應的運行環境（如LM Studio或llama.cpp）中運行模型。

高級用法

根據不同的硬件和性能需求，選擇合適的量化類型和模型文件。例如，如果你希望模型運行速度儘可能快，可以選擇文件大小比GPU總VRAM小1 - 2GB的量化文件；如果你追求絕對的最高質量，可以將系統RAM和GPU的VRAM相加，然後選擇比該總和小1 - 2GB的量化文件。

📚 詳細文檔

下載文件選擇

文件名	量化類型	文件大小	分割情況	描述
Skywork-OR1-7B-bf16.gguf	bf16	15.24GB	false	完整的BF16權重。
Skywork-OR1-7B-Q8_0.gguf	Q8_0	8.10GB	false	極高質量，通常不需要，但為最大可用量化。
Skywork-OR1-7B-Q6_K_L.gguf	Q6_K_L	6.52GB	false	嵌入和輸出權重使用Q8_0。非常高質量，接近完美，推薦。
Skywork-OR1-7B-Q6_K.gguf	Q6_K	6.25GB	false	非常高質量，接近完美，推薦。
Skywork-OR1-7B-Q5_K_L.gguf	Q5_K_L	5.78GB	false	嵌入和輸出權重使用Q8_0。高質量，推薦。
Skywork-OR1-7B-Q5_K_M.gguf	Q5_K_M	5.44GB	false	高質量，推薦。
Skywork-OR1-7B-Q5_K_S.gguf	Q5_K_S	5.32GB	false	高質量，推薦。
Skywork-OR1-7B-Q4_K_L.gguf	Q4_K_L	5.09GB	false	嵌入和輸出權重使用Q8_0。質量良好，推薦。
Skywork-OR1-7B-Q4_1.gguf	Q4_1	4.87GB	false	舊格式，性能與Q4_K_S相似，但在Apple硅芯片上每瓦處理的令牌數有所提高。
Skywork-OR1-7B-Q4_K_M.gguf	Q4_K_M	4.68GB	false	質量良好，是大多數用例的默認大小，推薦。
Skywork-OR1-7B-Q3_K_XL.gguf	Q3_K_XL	4.57GB	false	嵌入和輸出權重使用Q8_0。質量較低但可用，適合低內存情況。
Skywork-OR1-7B-Q4_K_S.gguf	Q4_K_S	4.46GB	false	質量略低，但節省空間，推薦。
Skywork-OR1-7B-Q4_0.gguf	Q4_0	4.44GB	false	舊格式，可為ARM和AVX CPU推理提供在線重新打包。
Skywork-OR1-7B-IQ4_NL.gguf	IQ4_NL	4.44GB	false	與IQ4_XS相似，但略大。可為ARM CPU推理提供在線重新打包。
Skywork-OR1-7B-IQ4_XS.gguf	IQ4_XS	4.22GB	false	質量不錯，比Q4_K_S小，性能相似，推薦。
Skywork-OR1-7B-Q3_K_L.gguf	Q3_K_L	4.09GB	false	質量較低但可用，適合低內存情況。
Skywork-OR1-7B-Q3_K_M.gguf	Q3_K_M	3.81GB	false	質量低。
Skywork-OR1-7B-IQ3_M.gguf	IQ3_M	3.57GB	false	中低質量，新方法，性能與Q3_K_M相當。
Skywork-OR1-7B-Q2_K_L.gguf	Q2_K_L	3.55GB	false	嵌入和輸出權重使用Q8_0。質量非常低，但出奇地可用。
Skywork-OR1-7B-Q3_K_S.gguf	Q3_K_S	3.49GB	false	質量低，不推薦。
Skywork-OR1-7B-IQ3_XS.gguf	IQ3_XS	3.35GB	false	質量較低，新方法，性能不錯，略優於Q3_K_S。
Skywork-OR1-7B-IQ3_XXS.gguf	IQ3_XXS	3.11GB	false	質量較低，新方法，性能不錯，與Q3量化相當。
Skywork-OR1-7B-Q2_K.gguf	Q2_K	3.02GB	false	質量非常低，但出奇地可用。
Skywork-OR1-7B-IQ2_M.gguf	IQ2_M	2.78GB	false	質量相對較低，使用了最先進的技術，出奇地可用。