Skywork - SWE - 32Bオープンソース大規模言語モデル - 無料でデプロイ可能、リソースが制限された環境でも効率的に動作

ホーム

Skywork Skywork SWE 32B GGUF

bartowskiによって開発

Skywork-SWE-32Bは320億パラメータの大規模言語モデルで、Llamacpp imatrix量子化を経て、リソースが制限された環境でも効率的に動作します。

大規模言語モデルオープンソースライセンス:Apache-2.0 #大規模モデルの量子化 #低リソース環境でのデプロイ #多精度選択

ダウンロード数 921

リリース時間 : 6/19/2025

モデル概要

このモデルは量子化技術により、格納スペースと計算リソースの要求を大幅に削減し、動作効率を向上させると同時に、高い性能を維持します。様々な自然言語処理タスクに適しています。

モデル特徴

多様な量子化タイプ

豊富な量子化タイプ（bf16、Q8_0、Q6_K_Lなど）を提供し、異なる性能と品質の要求を満たします。

リソース効率が高い

量子化技術により、モデルの格納スペースと計算リソースの要求を大幅に削減し、リソースが制限された環境に適しています。

オンライン再パッケージ化

一部の量子化モデルはオンライン再パッケージ化をサポートし、ハードウェアに応じて自動的に重みを最適化し、性能を向上させます。

モデル能力

テキスト生成

対話システム

自然言語理解

使用事例

自然言語処理

対話システム

効率的な対話システムの構築に使用でき、多輪の対話をサポートします。

リソースが制限された環境でも高い性能を維持します

テキスト生成

様々なテキスト生成タスク（コンテンツ作成、要約生成など）に適しています。

生成品質は元のモデルに近いです

🚀 SkyworkによるSkywork - SWE - 32BのLlamacpp imatrix量子化

このプロジェクトは、Skywork - SWE - 32Bモデルに対してLlamacpp imatrix量子化を行うものです。大規模モデルがリソース制限のある環境で動作しにくいという問題を解決し、一定の性能を維持しながら、モデルの保存容量と計算リソースの要件を大幅に削減し、モデルの実行効率を向上させます。

🚀 クイックスタート

以下の方法でこれらの量子化モデルを使用できます。

LM Studio で実行する。
llama.cpp またはllama.cppをベースにした任意のプロジェクトを直接使用して実行する。

✨ 主な機能

複数の量子化タイプ：bf16、Q8_0、Q6_K_L など、様々な量子化タイプを提供し、さまざまな性能と品質の要件を満たします。
オンライン再パッケージ化：一部の量子化モデルはオンライン再パッケージ化をサポートしており、ハードウェアに応じて自動的に重みを最適化し、性能を向上させます。

📦 インストール

huggingface - cliを使用したダウンロード

まず、huggingface - cli がインストールされていることを確認してください。

pip install -U "huggingface_hub[cli]"

次に、ダウンロードする特定のファイルを指定できます。

huggingface-cli download bartowski/Skywork_Skywork-SWE-32B-GGUF --include "Skywork_Skywork-SWE-32B-Q4_K_M.gguf" --local-dir ./

モデルが50GBを超える場合、複数のファイルに分割されます。これらをすべてローカルフォルダにダウンロードするには、次のコマンドを実行します。

huggingface-cli download bartowski/Skywork_Skywork-SWE-32B-GGUF --include "Skywork_Skywork-SWE-32B-Q8_0/*" --local-dir ./

新しいローカルディレクトリ（例：Skywork_Skywork-SWE-32B-Q8_0）を指定することも、現在のディレクトリ（./）にすべてダウンロードすることもできます。

💻 使用例

基本的な使用法

プロンプトの形式は次の通りです。

<|im_start|>system
{system_prompt}<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>assistant

📚 ドキュメント

ファイルのダウンロード

次のリストから単一のファイル（ブランチ全体ではなく）をダウンロードできます。

ファイル名	量子化タイプ	ファイルサイズ	分割状況	説明
Skywork - SWE - 32B - bf16.gguf	bf16	65.54GB	true	完全なBF16重み。
Skywork - SWE - 32B - Q8_0.gguf	Q8_0	34.82GB	false	超高品質で、通常は必要ありませんが、最大限の量子化を提供します。
Skywork - SWE - 32B - Q6_K_L.gguf	Q6_K_L	27.26GB	false	埋め込みと出力の重みにQ8_0を使用。非常に高品質で、ほぼ完璧で、推奨。
Skywork - SWE - 32B - Q6_K.gguf	Q6_K	26.89GB	false	非常に高品質で、ほぼ完璧で、推奨。
Skywork - SWE - 32B - Q5_K_L.gguf	Q5_K_L	23.74GB	false	埋め込みと出力の重みにQ8_0を使用。高品質で、推奨。
Skywork - SWE - 32B - Q5_K_M.gguf	Q5_K_M	23.26GB	false	高品質で、推奨。
Skywork - SWE - 32B - Q5_K_S.gguf	Q5_K_S	22.64GB	false	高品質で、推奨。
Skywork - SWE - 32B - Q4_1.gguf	Q4_1	20.64GB	false	旧形式で、Q4_K_Sと似た性能ですが、Apple Siliconでの毎ワットトークン数が向上しています。
Skywork - SWE - 32B - Q4_K_L.gguf	Q4_K_L	20.43GB	false	埋め込みと出力の重みにQ8_0を使用。品質が良好で、推奨。
Skywork - SWE - 32B - Q4_K_M.gguf	Q4_K_M	19.85GB	false	品質が良好で、ほとんどのケースでのデフォルトサイズで、推奨。
Skywork - SWE - 32B - Q4_K_S.gguf	Q4_K_S	18.78GB	false	品質がやや低いですが、より多くのスペースを節約でき、推奨。
Skywork - SWE - 32B - Q4_0.gguf	Q4_0	18.71GB	false	旧形式で、ARMおよびAVX CPU推論のためのオンライン再パッケージ化をサポートします。
Skywork - SWE - 32B - IQ4_NL.gguf	IQ4_NL	18.68GB	false	IQ4_XSに似ていますが、少し大きいです。ARM CPU推論のためのオンライン再パッケージ化をサポートします。
Skywork - SWE - 32B - Q3_K_XL.gguf	Q3_K_XL	17.93GB	false	埋め込みと出力の重みにQ8_0を使用。品質は低いですが使用可能で、低メモリの状況に適しています。
Skywork - SWE - 32B - IQ4_XS.gguf	IQ4_XS	17.69GB	false	品質が良好で、Q4_K_Sより小さく、性能は似ています、推奨。
Skywork - SWE - 32B - Q3_K_L.gguf	Q3_K_L	17.25GB	false	品質は低いですが使用可能で、低メモリの状況に適しています。
Skywork - SWE - 32B - Q3_K_M.gguf	Q3_K_M	15.94GB	false	低品質。
Skywork - SWE - 32B - IQ3_M.gguf	IQ3_M	14.81GB	false	中低品質で、新しい方法で、Q3_K_Mと同等の性能。
Skywork - SWE - 32B - Q3_K_S.gguf	Q3_K_S	14.39GB	false	低品質で、推奨しません。
Skywork - SWE - 32B - IQ3_XS.gguf	IQ3_XS	13.71GB	false	品質は低いですが、新しい方法で、性能は良好で、Q3_K_Sより少し優れています。
Skywork - SWE - 32B - Q2_K_L.gguf	Q2_K_L	13.07GB	false	埋め込みと出力の重みにQ8_0を使用。非常に低品質ですが、意外と使用可能です。
Skywork - SWE - 32B - IQ3_XXS.gguf	IQ3_XXS	12.84GB	false	品質は低いですが、新しい方法で、性能は良好で、Q3量子化と同等。
Skywork - SWE - 32B - Q2_K.gguf	Q2_K	12.31GB	false	非常に低品質ですが、意外と使用可能です。
Skywork - SWE - 32B - IQ2_M.gguf	IQ2_M	11.26GB	false	比較的低品質ですが、最先端の技術を使用しており、意外と使用可能です。
Skywork - SWE - 32B - IQ2_S.gguf	IQ2_S	10.39GB	false	低品質ですが、最先端の技術を使用しており、使用可能です。
Skywork - SWE - 32B - IQ2_XS.gguf	IQ2_XS	9.96GB	false	低品質ですが、最先端の技術を使用しており、使用可能です。
Skywork - SWE - 32B - IQ2_XXS.gguf	IQ2_XXS	9.03GB	false	非常に低品質ですが、最先端の技術を使用しており、使用可能です。

埋め込み/出力の重み

一部の量子化モデル（例：Q3_K_XL、Q4_K_L など）は、標準的な量子化方法を採用し、埋め込みと出力の重みをデフォルト値ではなく Q8_0 に量子化します。

ARM/AVX情報

以前は、Q4_0_4_4/4_8/8_8 をダウンロードしました。これらのモデルの重みは、ARMおよびAVXマシンで一度により多くのデータをロードすることで性能を向上させるために、メモリ内で交差配置されていました。

しかし、現在では「オンライン再パッケージ化」と呼ばれる重み処理方法があります。詳細はこのPR を参照してください。Q4_0 を使用し、ハードウェアが重みの再パッケージ化から恩恵を受ける場合、自動的にリアルタイムで再パッケージ化が行われます。

llama.cppのバージョン b4282 以降、Q4_0_X_X ファイルを実行することはできず、Q4_0 を使用する必要があります。

また、少し高い品質が必要な場合は、IQ4_NL を使用できます。詳細はこのPR を参照してください。これもARM用に重みを再パッケージ化しますが、現在は 4_4 のみサポートしています。ロード時間は長くなる可能性がありますが、全体的な速度は向上します。

ファイルの選び方

詳細を表示するにはクリック

Artefact2 は、さまざまな性能を示す素晴らしいグラフ付きの記事を提供しています。リンクはこちらです。

まず、実行可能なモデルのサイズを決定する必要があります。このためには、所有しているRAMおよび/またはVRAMの容量を把握する必要があります。

モデルをできるだけ高速に実行したい場合は、モデル全体をGPUのVRAMに格納する必要があります。GPUの総VRAMより1 - 2GB小さいファイルサイズの量子化モデルを選択します。
絶対的な最高品質を追求する場合は、システムRAMとGPUのVRAMを合計し、その合計値より1 - 2GB小さいファイルサイズの量子化モデルを選択します。

次に、「I - quant」または「K - quant」を使用するかを決定する必要があります。

あまり考えたくない場合は、K - quantを選択します。これらの形式は QX_K_X で、例えば Q5_K_M です。
詳細を知りたい場合は、この非常に便利な機能グラフを参照してください：[llama.cpp 機能マトリックス](https://github.com/ggerganov/llama.cpp/wiki/Feature - matrix)。

基本的に、Q4 以下の量子化を目標とし、cuBLAS（Nvidia）またはrocBLAS（AMD）を使用する場合は、I - quantを検討する必要があります。これらの形式は IQX_X で、例えば IQ3_M です。これらは新しい量子化方法で、同じサイズでより良い性能を提供します。

これらのI - quantはCPUでも使用できますが、同等のK - quantよりも遅いため、速度と性能のトレードオフを考慮する必要があります。

🔧 技術詳細

llama.cpp のバージョン b5697 を使用して量子化を行いました。元のモデルは [Skywork/Skywork - SWE - 32B](https://huggingface.co/Skywork/Skywork - SWE - 32B) です。すべての量子化は、imatrixオプションとここのデータセットを使用して行われました。