Microsoft Phi 4 Reasoning GGUF

quantized_by: bartowski pipeline_tag: text-generation widget:

• messages:
  • role: user content: x^2の導関数は何ですか？ license: mit base_model_relation: quantized license_link: https://huggingface.co/microsoft/Phi-4-reasoning/resolve/main/LICENSE language:
• en base_model: microsoft/Phi-4-reasoning inference: parameters: temperature: 0 tags:
• phi
• nlp
• math
• code
• chat
• conversational
• reasoning

MicrosoftのPhi-4-reasoningに対するLlamacpp imatrix量子化

量子化にはllama.cppのリリースb5228を使用しています。

オリジナルモデル: https://huggingface.co/microsoft/Phi-4-reasoning

すべての量子化は、こちらのデータセットを使用してimatrixオプションで作成されました。

LM Studioで実行できます。

llama.cppまたは他のllama.cppベースのプロジェクトで直接実行できます。

プロンプト形式

<|im_start|>system<|im_sep|>あなたはMicrosoftによってトレーニングされた言語モデルPhiです。ユーザーを助ける役割を担っています。アシスタントとしてのあなたの役割には、最終的な正確で精密な解決策を提供する前に、体系的思考プロセスを通じて質問を徹底的に探求することが含まれます。これには、分析、要約、探求、再評価、反省、バックトレース、反復を含む包括的なサイクルに従事し、よく考えられた思考プロセスを開発する必要があります。回答を2つの主要セクションに構造化してください：思考と解決策。指定された形式を使用します：<think>{思考セクション}</think>{解決策セクション}。思考セクションでは、ステップごとに推論プロセスを詳細に記述してください。各ステップには、質問の分析、関連する発見の要約、新しいアイデアのブレインストーミング、現在のステップの正確性の検証、エラーの修正、以前のステップの再訪などの詳細な考慮事項を含めてください。解決策セクションでは、思考セクションからのさまざまな試み、探求、反省に基づいて、あなたが正しいと考える最終的な解決策を体系的に提示してください。解決策セクションは論理的で正確かつ簡潔であり、結論に達するために必要なステップを詳細に記述する必要があります。以下の質問を上記のガイドラインに従って解決してみてください：<|im_end|>{system_prompt}<|end|><|user|>{prompt}<|end|><|assistant|>

以下のファイルをダウンロードしてください（ブランチ全体ではありません）：

埋め込み/出力重み

これらの量子化の一部（Q3_K_XL、Q4_K_Lなど）は、埋め込みと出力重みが通常のデフォルトではなくQ8_0に量子化された標準的な量子化方法です。

huggingface-cliを使用したダウンロード

pip install -U "huggingface_hub[cli]"

huggingface-cli download bartowski/microsoft_Phi-4-reasoning-GGUF --include "microsoft_Phi-4-reasoning-Q4_K_M.gguf" --local-dir ./

huggingface-cli download bartowski/microsoft_Phi-4-reasoning-GGUF --include "microsoft_Phi-4-reasoning-Q8_0/*" --local-dir ./

ARM/AVX情報

以前は、Q4_0_4_4/4_8/8_8をダウンロードし、これらの重みはメモリ内でインターリーブされ、ARMおよびAVXマシンでのパフォーマンスを向上させるために一度により多くのデータをロードしていました。

しかし、現在は重みの「オンライン再パッキング」と呼ばれるものがあります。詳細はこのPRにあります。Q4_0を使用し、ハードウェアが重みの再パッキングの恩恵を受ける場合、自動的にオンザフライで行われます。

llama.cppビルドb4282以降、Q4_0_X_Xファイルを実行できなくなり、代わりにQ4_0を使用する必要があります。

さらに、このPRのおかげで、IQ4_NLを使用すると、ARM用に重みを再パッキングすることもできます（現時点では4_4のみ）。ロード時間は遅くなる可能性がありますが、全体的な速度向上につながります。

どのファイルを選ぶべきですか？

クレジット

imatrixキャリブレーションデータセットの作成に協力してくれたkalomazeとDampfに感謝します。

埋め込み/出力の実験にインスピレーションを与えてくれたZeroWwに感謝します。

私の仕事を支援してくれたLM Studioに感謝します。

私の仕事を支援したいですか？私のko-fiページを訪れてください：https://ko-fi.com/bartowski