Mistralai Devstral Small 2505 GGUF

quantized_by: bartowski pipeline_tag: text-generation base_model: mistralai/Devstral-Small-2505 inference: false language:

• en
• fr
• de
• es
• pt
• it
• ja
• ko
• ru
• zh
• ar
• fa
• id
• ms
• ne
• pl
• ro
• sr
• sv
• tr
• uk
• vi
• hi
• bn extra_gated_description: 当社が個人データをどのように処理しているか詳しく知りたい場合は、プライバシーポリシーをお読みください。 base_model_relation: quantized license: apache-2.0

mistralai/Devstral-Small-2505のLlamacpp imatrix量子化

Unslothの変換を使用して作成（アップロードに感謝）: https://huggingface.co/unsloth/Devstral-Small-2505

量子化にはllama.cppリリースb5432を使用。

オリジナルモデル: https://huggingface.co/mistralai/Devstral-Small-2505

すべての量子化はこちらのデータセットを使用してimatrixオプションで作成。

LM Studioで実行可能。

llama.cppまたは他のllama.cppベースのプロジェクトで直接実行可能。

ngxsonによるビジョンサポート

ngxsonが、Mistral Small 3.1のオリジナルmmprojがDevstral Smallでシームレスに動作することを示したため、ビジョン使用のためにmmprojファイルを提供！

これは公式ではなく、完全に動作するとは限りませんが、実用的には機能するようです！

プロンプト形式

<s>[SYSTEM_PROMPT]{system_prompt}[/SYSTEM_PROMPT][INST]{prompt}[/INST]

以下のファイルをダウンロード（ブランチ全体ではなく）:

埋め込み/出力ウェイト

これらの量子化（Q3_K_XL、Q4_K_Lなど）の一部は、埋め込みと出力ウェイトを通常のデフォルトではなくQ8_0に量子化した標準的な量子化手法です。

huggingface-cliを使用したダウンロード

pip install -U "huggingface_hub[cli]"

huggingface-cli download bartowski/mistralai_Devstral-Small-2505-GGUF --include "mistralai_Devstral-Small-2505-Q4_K_M.gguf" --local-dir ./

huggingface-cli download bartowski/mistralai_Devstral-Small-2505-GGUF --include "mistralai_Devstral-Small-2505-Q8_0/*" --local-dir ./

ARM/AVX情報

以前は、Q4_0_4_4/4_8/8_8をダウンロードし、これらのウェイトはメモリ内でインターリーブされ、ARMおよびAVXマシンでのパフォーマンスを向上させるために一度により多くのデータをロードしていました。

しかし現在では、ウェイトの「オンライン再パッキング」と呼ばれるものがあります。詳細はこのPRにあります。Q4_0を使用し、ハードウェアがウェイトの再パッキングの恩恵を受ける場合、自動的にオンザフライで行われます。

llama.cppビルドb4282以降、Q4_0_X_Xファイルを実行できなくなり、代わりにQ4_0を使用する必要があります。

さらに、このPRのおかげで、IQ4_NLを使用してARM用にウェイトを再パッキングすることもできますが、現時点では4_4のみです。ロード時間は遅くなるかもしれませんが、全体的な速度向上につながります。

どのファイルを選ぶべきか？

クレジット

imatrixキャリブレーションデータセットの作成に協力してくれたkalomazeとDampfに感謝します。

埋め込み/出力の実験にインスピレーションを与えてくれたZeroWwに感謝します。

私の仕事をスポンサーしてくれたLM Studioに感謝します。

私の仕事をサポートしたいですか？私のko-fiページを訪れてください: https://ko-fi.com/bartowski