Huihui Ai Qwen3 14B Abliterated GGUF

🚀 huihui-aiによるQwen3-14B-abliteratedのLlamacpp imatrix量子化

このプロジェクトは、llama.cpp のリリース b5284 を使用して、huihui-aiのQwen3-14B-abliteratedモデルを量子化したものです。量子化により、モデルのサイズを削減し、実行効率を向上させることができます。

🔍 基本情報

⚠️ 重要提示

• 「敏感または物議を醸す出力のリスク」: このモデルのセーフティフィルタリングは大幅に削減されており、敏感、物議を醸す、または不適切な内容を生成する可能性があります。ユーザーは注意を払い、生成された出力を厳密にレビューする必要があります。
• 「すべてのユーザーに適していない」: 内容のフィルタリングが限られているため、このモデルの出力は、公共の場、未成年ユーザー、または高いセキュリティが必要なアプリケーションには不適切な場合があります。
• 「法的および倫理的責任」: ユーザーは、自分の使用が地域の法律および倫理基準に準拠していることを確認する必要があります。生成された内容には法的または倫理的なリスクが伴う可能性があり、ユーザーはすべての結果に対して単独で責任を負います。
• 「研究および実験的使用」: このモデルは、研究、テスト、または制御された環境での使用を推奨します。本番環境または公開向けの商用アプリケーションでの直接使用は避けてください。
• 「モニタリングおよびレビューの推奨事項」: ユーザーは、モデルの出力をリアルタイムで監視し、必要に応じて手動でレビューすることを強くお勧めします。これにより、不適切な内容の拡散を防ぐことができます。
• 「デフォルトのセーフティ保証がない」: 標準モデルとは異なり、このモデルは厳密なセーフティ最適化を受けていません。huihui.aiは、その使用に起因するいかなる結果に対しても責任を負いません。

🚀 クイックスタート

• 元モデル: https://huggingface.co/huihui-ai/Qwen3-14B-abliterated
• 量子化方法: llama.cppのimatrixオプションを使用し、ここ のデータセットを用いて量子化を行いました。
• 実行方法: LM Studio で実行することもできますし、llama.cpp または他のllama.cppベースのプロジェクトで直接実行することも可能です。

💻 使用例

プロンプトフォーマット

チャットテンプレートが指定されていないため、デフォルトのものが使用されます。これは正しくない場合があるので、元のモデルカードを確認してください。

<|im_start|>system
{system_prompt}<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>assistant

📦 インストール

huggingface-cliを使用したダウンロード

まず、hugginface-cliがインストールされていることを確認してください。

pip install -U "huggingface_hub[cli]"

次に、ダウンロードしたい特定のファイルを指定することができます。

huggingface-cli download bartowski/huihui-ai_Qwen3-14B-abliterated-GGUF --include "huihui-ai_Qwen3-14B-abliterated-Q4_K_M.gguf" --local-dir ./

モデルが50GBを超える場合、複数のファイルに分割されています。すべてのファイルをローカルフォルダにダウンロードするには、次のコマンドを実行します。

huggingface-cli download bartowski/huihui-ai_Qwen3-14B-abliterated-GGUF --include "huihui-ai_Qwen3-14B-abliterated-Q8_0/*" --local-dir ./

新しいローカルディレクトリを指定するか、すべてのファイルを現在のディレクトリにダウンロードすることができます。

📚 ドキュメント

ダウンロードファイル一覧

埋め込み/出力重み

一部の量子化（Q3_K_XL、Q4_K_Lなど）は、標準的な量子化方法で、埋め込みと出力重みが通常のデフォルトではなくQ8_0に量子化されています。

ARM/AVX情報

以前は、Q4_0_4_4/4_8/8_8をダウンロードし、これらの重みをメモリ内でインターリーブすることで、ARMおよびAVXマシンでのパフォーマンスを向上させていました。しかし、現在は「オンライン再パッキング」と呼ばれる重みの処理方法があります。詳細は このPR を参照してください。Q4_0を使用し、ハードウェアが重みの再パッキングによって恩恵を受ける場合、自動的に実行されます。

llama.cppビルド b4282 以降、Q4_0_X_Xファイルを実行することはできなくなり、代わりにQ4_0を使用する必要があります。

また、このPR により、IQ4_NLを使用すると、ARM用に重みを再パッキングすることができます（現時点では4_4のみ）。ロード時間は遅くなる可能性がありますが、全体的な速度が向上します。

🔧 技術詳細

どのファイルを選ぶべきか？

Artefact2による ここ に、様々なパフォーマンスを示すチャート付きの素晴らしい解説があります。

まず、実行できるモデルのサイズを決定する必要があります。これには、持っているRAMおよび/またはVRAMの量を把握する必要があります。

モデルをできるだけ高速に実行したい場合は、全体をGPUのVRAMに収めることを目指してください。GPUの総VRAMよりも1 - 2GB小さいファイルサイズの量子化を選びましょう。

絶対的な最高品質を求める場合は、システムRAMとGPUのVRAMを合計し、その合計よりも1 - 2GB小さいファイルサイズの量子化を選びます。

次に、「I-量子化」または「K-量子化」を使用するかを決定する必要があります。

あまり考えたくない場合は、K-量子化のいずれかを選びましょう。これらは 'QX_K_X' の形式で、例えばQ5_K_Mです。

もっと詳細に調べたい場合は、この非常に便利な機能チャートをチェックしてください。 llama.cpp feature matrix

基本的に、Q4以下を目指し、cuBLAS（Nvidia）またはrocBLAS（AMD）を使用している場合は、I-量子化を検討する必要があります。これらはIQX_Xの形式で、例えばIQ3_Mです。これらは新しく、サイズに対してより良いパフォーマンスを提供します。

これらのI-量子化はCPUでも使用できますが、同等のK-量子化よりも遅くなります。したがって、速度とパフォーマンスのトレードオフを決定する必要があります。

📄 ライセンス

このプロジェクトは、apache-2.0ライセンスの下で提供されています。詳細については、ライセンスリンク を参照してください。

🙏 クレジット

• kalomazeとDampfには、imatrixキャリブレーションデータセットの作成に協力してくれたことに感謝します。
• ZeroWwには、埋め込み/出力の実験のインスピレーションを提供してくれたことに感謝します。
• LM Studioには、私の仕事を支援してくれたことに感謝します。

私の仕事を支援したい場合は、こちらのko-fiページ をご覧ください。