Nvidia OpenReasoning Nemotron 1.5B GGUF

🚀 nvidiaのOpenReasoning - Nemotron - 1.5BのLlamacpp imatrix量子化

このプロジェクトは、nvidiaのOpenReasoning - Nemotron - 1.5Bモデルを量子化したものです。量子化には llama.cpp のリリース b5934 を使用しています。

🚀 クイックスタート

量子化情報

• 量子化者: bartowski
• パイプラインタグ: text - generation
• ベースモデル: nvidia/OpenReasoning - Nemotron - 1.5B
• ベースモデル関係: 量子化済み

実行方法

• LM Studioで実行: LM Studio でこれらの量子化モデルを実行できます。
• llama.cppで直接実行: llama.cpp または他のllama.cppベースのプロジェクトで直接実行できます。

プロンプトフォーマット

<|im_start|>system
{system_prompt}<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>assistant

✨ 主な機能

• 多様な量子化形式: 様々な量子化形式（Q2_K、Q3_K、Q4_K、Q5_K、Q6_K、Q8_0、IQ3、IQ4など）が用意されており、ユーザーのハードウェア環境や性能要件に合わせて選択できます。
• オンラインリパッキング: Q4_0などの量子化形式では、ARMやAVXマシンでの性能向上のためにオンラインリパッキングが自動的に行われます。

📦 インストール

huggingface - cliを使用したダウンロード

まず、huggingface - cliがインストールされていることを確認してください。

pip install -U "huggingface_hub[cli]"

特定のファイルをダウンロードするには、以下のコマンドを実行します。

huggingface-cli download bartowski/nvidia_OpenReasoning-Nemotron-1.5B-GGUF --include "nvidia_OpenReasoning-Nemotron-1.5B-Q4_K_M.gguf" --local-dir ./

モデルが50GB以上の場合は、複数のファイルに分割されています。すべてのファイルをローカルフォルダにダウンロードするには、以下のコマンドを実行します。

huggingface-cli download bartowski/nvidia_OpenReasoning-Nemotron-1.5B-GGUF --include "nvidia_OpenReasoning-Nemotron-1.5B-Q8_0/*" --local-dir ./

💻 使用例

基本的な使用法

上記のインストール手順に従ってモデルをダウンロードした後、LM Studioまたはllama.cppでモデルを実行できます。

📚 ドキュメント

ファイル選択のガイド

ARM/AVX情報

以前は、Q4_0_4_4/4_8/8_8をダウンロードし、ARMおよびAVXマシンでの性能を向上させるために、メモリ内で重みをインターリーブしていました。

しかし、現在は重みの「オンラインリパッキング」と呼ばれる機能があります。詳細は このPR を参照してください。Q4_0を使用し、ハードウェアが重みのリパッキングによって恩恵を受ける場合、自動的に実行されます。

llama.cppビルド b4282 以降は、Q4_0_X_Xファイルを実行できなくなり、代わりにQ4_0を使用する必要があります。

さらに、このPR により、ARM用に重みをリパッキングするIQ4_NLを使用すると、少し品質を向上させることができます（現在は4_4のみ）。読み込み時間は長くなる可能性がありますが、全体的な速度が向上します。

埋め込み/出力重み

一部の量子化形式（Q3_K_XL、Q4_K_Lなど）は、標準的な量子化方法で、埋め込みおよび出力重みが通常のデフォルト値ではなくQ8_0に量子化されています。

🔧 技術詳細

• 量子化方法: llama.cppのb5934リリースを使用して量子化を行っています。
• データセット: 量子化に使用するデータセットは こちら から取得しています。

📄 ライセンス

ドキュメント内にライセンス情報は記載されていません。

クレジット

• kalomazeとDampfには、imatrixキャリブレーションデータセットの作成における支援に感謝します。
• ZeroWwには、埋め込み/出力の実験のインスピレーションを提供してくれたことに感謝します。
• LM Studioには、このプロジェクトの支援に感謝します。

サポートしたい場合は、こちらのko - fiページを訪問してください: https://ko-fi.com/bartowski