Mistral - Small - 24B - Instruct - 2501オープンソース大規模言語モデル - 無料でデプロイ可能な多言語テキスト生成

ホーム

Mistral Small 24B Instruct 2501 GGUF

bartowskiによって開発

Mistral-Small-24B-Instruct-2501は24Bパラメータ規模の命令ファインチューニング大規模言語モデルで、多言語テキスト生成タスクをサポートします。

大規模言語モデル複数言語対応オープンソースライセンス:Apache-2.0 #多言語命令ファインチューニング #高精度量子化 #軽量展開

ダウンロード数 48.61k

リリース時間 : 4/25/2025

モデル概要

このモデルはMistral AIがリリースした24Bパラメータ規模の命令ファインチューニングモデルで、GGUF形式の量子化を採用し、テキスト生成や多言語処理タスクに適しています。

モデル特徴

多言語サポート

主要なヨーロッパ言語とアジア言語を含む10言語のテキスト生成をサポート

多様な量子化オプション

Q2からQ8までの多様な量子化バージョンを提供し、異なるハードウェア要件に対応

命令ファインチューニング

命令ファインチューニングにより最適化され、対話や命令追従タスクに適しています

効率的な推論

GGUF形式で最適化され、コンシューマーグレードのハードウェアで動作可能

モデル能力

多言語テキスト生成

命令追従

対話システム

コンテンツ作成

使用事例

対話システム

多言語カスタマーサービスボット

複数言語をサポートするインテリジェントカスタマーサービスシステムを構築

コンテンツ作成

多言語コンテンツ生成

多言語のマーケティングコピーや記事を自動生成

quantized_by: bartowski pipeline_tag: text-generation extra_gated_description: 当社が個人データをどのように処理しているか詳しく知りたい場合は、プライバシーポリシーをお読みください。 base_model: mistralai/Mistral-Small-24B-Instruct-2501 inference: false language:

en
fr
de
es
it
pt
zh
ja
ru
ko license: apache-2.0

Mistral-Small-24B-Instruct-2501のLlamacpp imatrix量子化

llama.cppリリースb4585を使用して量子化しました。

オリジナルモデル: https://huggingface.co/mistralai/Mistral-Small-24B-Instruct-2501

すべての量子化はimatrixオプションを使用し、データセットはこちらから取得しました。

LM Studioで実行可能

llama.cppまたは他のllama.cppベースのプロジェクトで直接実行可能

プロンプト形式

<s>[SYSTEM_PROMPT]{system_prompt}[/SYSTEM_PROMPT][INST]{prompt}[/INST]

以下のファイルをダウンロード（ブランチ全体ではなく）:

ファイル名	量子化タイプ	ファイルサイズ	分割	説明
Mistral-Small-24B-Instruct-2501-f32.gguf	f32	94.30GB	true	完全なF32重み
Mistral-Small-24B-Instruct-2501-f16.gguf	f16	47.15GB	false	完全なF16重み
Mistral-Small-24B-Instruct-2501-Q8_0.gguf	Q8_0	25.05GB	false	非常に高品質、一般的には不要だが利用可能な最大量子化
Mistral-Small-24B-Instruct-2501-Q6_K_L.gguf	Q6_K_L	19.67GB	false	埋め込みと出力重みにQ8_0を使用。非常に高品質、ほぼ完璧、推奨
Mistral-Small-24B-Instruct-2501-Q6_K.gguf	Q6_K	19.35GB	false	非常に高品質、ほぼ完璧、推奨
Mistral-Small-24B-Instruct-2501-Q5_K_L.gguf	Q5_K_L	17.18GB	false	埋め込みと出力重みにQ8_0を使用。高品質、推奨
Mistral-Small-24B-Instruct-2501-Q5_K_M.gguf	Q5_K_M	16.76GB	false	高品質、推奨
Mistral-Small-24B-Instruct-2501-Q5_K_S.gguf	Q5_K_S	16.30GB	false	高品質、推奨
Mistral-Small-24B-Instruct-2501-Q4_1.gguf	Q4_1	14.87GB	false	レガシーフォーマット、Q4_K_Sと同様の性能だがAppleシリコンでトークン/ワットが改善
Mistral-Small-24B-Instruct-2501-Q4_K_L.gguf	Q4_K_L	14.83GB	false	埋め込みと出力重みにQ8_0を使用。良好な品質、推奨
Mistral-Small-24B-Instruct-2501-Q4_K_M.gguf	Q4_K_M	14.33GB	false	良好な品質、ほとんどのユースケースに適したデフォルトサイズ、推奨
Mistral-Small-24B-Instruct-2501-Q4_K_S.gguf	Q4_K_S	13.55GB	false	品質はやや低いがスペース節約、推奨
Mistral-Small-24B-Instruct-2501-Q4_0.gguf	Q4_0	13.49GB	false	レガシーフォーマット、ARMおよびAVX CPU推論用にオンライン再パッキングを提供
Mistral-Small-24B-Instruct-2501-IQ4_NL.gguf	IQ4_NL	13.47GB	false	IQ4_XSと類似だがやや大きい。ARM CPU推論用にオンライン再パッキングを提供
Mistral-Small-24B-Instruct-2501-Q3_K_XL.gguf	Q3_K_XL	12.99GB	false	埋め込みと出力重みにQ8_0を使用。品質は低いが使用可能、低RAM環境に適している
Mistral-Small-24B-Instruct-2501-IQ4_XS.gguf	IQ4_XS	12.76GB	false	良好な品質、Q4_K_Sより小さく同様の性能、推奨
Mistral-Small-24B-Instruct-2501-Q3_K_L.gguf	Q3_K_L	12.40GB	false	品質は低いが使用可能、低RAM環境に適している
Mistral-Small-24B-Instruct-2501-Q3_K_M.gguf	Q3_K_M	11.47GB	false	低品質
Mistral-Small-24B-Instruct-2501-IQ3_M.gguf	IQ3_M	10.65GB	false	中低品質、Q3_K_Mに匹敵する性能を持つ新しい手法
Mistral-Small-24B-Instruct-2501-Q3_K_S.gguf	Q3_K_S	10.40GB	false	低品質、非推奨
Mistral-Small-24B-Instruct-2501-IQ3_XS.gguf	IQ3_XS	9.91GB	false	低品質、Q3_K_Sよりやや優れた性能を持つ新しい手法
Mistral-Small-24B-Instruct-2501-Q2_K_L.gguf	Q2_K_L	9.55GB	false	埋め込みと出力重みにQ8_0を使用。非常に低品質だが驚くほど使用可能
Mistral-Small-24B-Instruct-2501-Q2_K.gguf	Q2_K	8.89GB	false	非常に低品質だが驚くほど使用可能
Mistral-Small-24B-Instruct-2501-IQ2_M.gguf	IQ2_M	8.11GB	false	比較的低品質だが、SOTA技術を使用して驚くほど使用可能
Mistral-Small-24B-Instruct-2501-IQ2_S.gguf	IQ2_S	7.48GB	false	低品質、SOTA技術を使用して使用可能
Mistral-Small-24B-Instruct-2501-IQ2_XS.gguf	IQ2_XS	7.21GB	false	低品質、SOTA技術を使用して使用可能

埋め込み/出力重み

これらの量子化の一部（Q3_K_XL、Q4_K_Lなど）は、埋め込みと出力重みを通常のデフォルトではなくQ8_0に量子化した標準的な量子化手法です。

huggingface-cliを使用したダウンロード

クリックしてダウンロード手順を表示

まず、huggingface-cliがインストールされていることを確認してください:

pip install -U "huggingface_hub[cli]"

次に、特定のファイルを指定してダウンロードできます:

huggingface-cli download bartowski/Mistral-Small-24B-Instruct-2501-GGUF --include "Mistral-Small-24B-Instruct-2501-Q4_K_M.gguf" --local-dir ./

モデルが50GBを超える場合、複数のファイルに分割されています。それらをすべてローカルフォルダにダウンロードするには、次のコマンドを実行します:

huggingface-cli download bartowski/Mistral-Small-24B-Instruct-2501-GGUF --include "Mistral-Small-24B-Instruct-2501-Q8_0/*" --local-dir ./

新しいlocal-dir（Mistral-Small-24B-Instruct-2501-Q8_0）を指定するか、すべてをその場（./）にダウンロードできます。

ARM/AVX情報

以前は、Q4_0_4_4/4_8/8_8をダウンロードし、これらの重みはメモリ内でインターリーブされ、ARMおよびAVXマシンでのパフォーマンスを向上させるために一度により多くのデータをロードしていました。

しかし、現在は重みの「オンライン再パッキング」と呼ばれる機能があります。詳細はこのPRを参照してください。Q4_0を使用し、ハードウェアが再パッキングの恩恵を受ける場合、自動的にオンザフライで実行されます。

llama.cppビルドb4282以降、Q4_0_X_Xファイルを実行できなくなり、代わりにQ4_0を使用する必要があります。

さらに、このPRのおかげで、IQ4_NLを使用するとARM用に重みを再パッキングし、わずかに品質を向上させることができます（現時点では4_4のみ）。ロード時間は遅くなる可能性がありますが、全体的な速度向上につながります。

クリックしてQ4_0_X_X情報を表示（非推奨）

このセクションは、Q4_0とオンライン再パッキングを使用した場合の潜在的な理論上のパフォーマンス向上を示すために保持しています。

クリックしてAVX2システム（EPYC7702）でのベンチマークを表示

モデル	サイズ	パラメータ	バックエンド	スレッド数	テスト	t/s	% (Q4_0比)
qwen2 3B Q4_0	1.70 GiB	3.09 B	CPU	64	pp512	204.03 ± 1.03	100%
qwen2 3B Q4_0	1.70 GiB	3.09 B	CPU	64	pp1024	282.92 ± 0.19	100%
qwen2 3B Q4_0	1.70 GiB	3.09 B	CPU	64	pp2048	259.49 ± 0.44	100%
qwen2 3B Q4_0	1.70 GiB	3.09 B	CPU	64	tg128	39.12 ± 0.27	100%
qwen2 3B Q4_0	1.70 GiB	3.09 B	CPU	64	tg256	39.31 ± 0.69	100%
qwen2 3B Q4_0	1.70 GiB	3.09 B	CPU	64	tg512	40.52 ± 0.03	100%
qwen2 3B Q4_K_M	1.79 GiB	3.09 B	CPU	64	pp512	301.02 ± 1.74	147%
qwen2 3B Q4_K_M	1.79 GiB	3.09 B	CPU	64	pp1024	287.23 ± 0.20	101%
qwen2 3B Q4_K_M	1.79 GiB	3.09 B	CPU	64	pp2048	262.77 ± 1.81	101%
qwen2 3B Q4_K_M	1.79 GiB	3.09 B	CPU	64	tg128	18.80 ± 0.99	48%
qwen2 3B Q4_K_M	1.79 GiB	3.09 B	CPU	64	tg256	24.46 ± 3.04	83%
qwen2 3B Q4_K_M	1.79 GiB	3.09 B	CPU	64	tg512	36.32 ± 3.59	90%
qwen2 3B Q4_0_8_8	1.69 GiB	3.09 B	CPU	64	pp512	271.71 ± 3.53	133%
qwen2 3B Q4_0_8_8	1.69 GiB	3.09 B	CPU	64	pp1024	279.86 ± 45.63	100%
qwen2 3B Q4_0_8_8	1.69 GiB	3.09 B	CPU	64	pp2048	320.77 ± 5.00	124%
qwen2 3B Q4_0_8_8	1.69 GiB	3.09 B	CPU	64	tg128	43.51 ± 0.05	111%
qwen2 3B Q4_0_8_8	1.69 GiB	3.09 B	CPU	64	tg256	43.35 ± 0.09	110%
qwen2 3B Q4_0_8_8	1.69 GiB	3.09 B	CPU	64	tg512	42.60 ± 0.31	105%

Q4_0_8_8はプロンプト処理に大きな改善をもたらし、テキスト生成にもわずかな改善をもたらします。

どのファイルを選ぶべきか？

詳細はこちらをクリック

Artefact2によるさまざまなパフォーマンスを示すチャートを含む優れた説明がこちらにあります。

まず、実行できるモデルのサイズを把握する必要があります。これを行うには、RAMやVRAMの量を確認する必要があります。

モデルを可能な限り高速に実行したい場合は、GPUのVRAMに全体を収める必要があります。GPUの総VRAMより1-2GB小さい量子化を選択してください。

絶対的な最高品質を求めたい場合は、システムRAMとGPUのVRAMを合計し、同様に合計より1-2GB小さい量子化を選択してください。

次に、「I-quant」または「K-quant」のどちらを使用するかを決定する必要があります。

あまり考えたくない場合は、K-quantのいずれかを選択してください。これらは「QX_K_X」形式で、Q5_K_Mなどです。

さらに詳しく知りたい場合は、この非常に便利な機能チャートを確認してください:

llama.cpp機能マトリックス

基本的に、Q4以下を目指していて、cuBLAS（Nvidia）またはrocBLAS（AMD）を使用している場合は、I-quantを検討する必要があります。これらはIQX_X形式で、IQ3_Mなどです。これらは新しく、サイズに対してより優れたパフォーマンスを提供します。

これらのI-quantはCPUおよびApple Metalでも使用できますが、K-quant相当よりも遅くなるため、速度とパフォーマンスのトレードオフを決定する必要があります。

I-quantはVulcan（AMD）と互換性がありません。AMDカードを使用している場合は、rocBLASビルドまたはVulcanビルドのどちらを使用しているかを確認してください。この記事の執筆時点では、LM StudioにはROCmサポートを備えたプレビューがあり、他の推論エンジンにはROCm用の特定のビルドがあります。