%20--%3e%3cdefs%3e%3cstyle%3e%20.st0%20{%20fill:%20%23061b40;%20}%20.st1%20{%20fill:%20%23306af1;%20}%20.st2%20{%20fill:%20%235ce5cf;%20}%20%3c/style%3e%3c/defs%3e%3cg%3e%3cpath%20class='st0'%20d='M55,10.5h9v3h-9v9h12V7.5h-12v3ZM64,19.5h-6v-3h6v3Z'/%3e%3cpolygon%20class='st0'%20points='69%2016.5%2078%2016.5%2078%2019.5%2069%2019.5%2069%2022.5%2081%2022.5%2081%2013.5%2072%2013.5%2072%2010.5%2081%2010.5%2081%207.5%2069%207.5%2069%2016.5'/%3e%3cpolygon%20class='st0'%20points='95%2010.5%2095%207.5%2083%207.5%2083%2022.5%2095%2022.5%2095%2019.5%2086%2019.5%2086%2016.5%2095%2016.5%2095%2013.5%2086%2013.5%2086%2010.5%2095%2010.5'/%3e%3cpath%20class='st0'%20d='M40,1.5v21h11.6l1.4-1.4v-7.6h0c0,0-1.4-1.5-1.4-1.5l1.4-1.4V2.9l-1.4-1.4h-11.6ZM50,19.5h-7v-6h7v6ZM50,10.5h-7v-6h7v6Z'/%3e%3c/g%3e%3cpath%20class='st1'%20d='M23.1,24L14.7,4.8l-4.9,11.2h3.8l-1.8,4H3.3L12.1,0H2C.9,0,0,.9,0,2v20c0,1.1.9,2,2,2h21.1Z'/%3e%3cpath%20class='st2'%20d='M34,0h-16.8l10.6,24h6.2c1.1,0,2-.9,2-2V2C36,.9,35.1,0,34,0ZM32.5,20h-4V4h4v16Z'/%3e%3c/svg%3e)
モデル概要
モデル特徴
モデル能力
使用事例
quantized_by: bartowski pipeline_tag: text-generation language:
- en
- bn
- hi
- kn
- gu
- mr
- ml
- or
- pa
- ta
- te base_model: sarvamai/sarvam-m base_model_relation: quantized license: apache-2.0
sarvamaiによるsarvam-mのLlamacpp imatrix量子化
オリジナルモデル: https://huggingface.co/sarvamai/sarvam-m
すべての量子化はimatrixオプションを使用し、データセットはこちらから取得。
LM Studioで実行可能。
llama.cppまたは他のllama.cppベースのプロジェクトで直接実行可能。
プロンプト形式
<s>[SYSTEM_PROMPT]Think deeply before answering the user's question. Do the thinking inside <think>...</think> tags.
{system_prompt}[/SYSTEM_PROMPT][INST]{prompt}[/INST]
以下のファイルをダウンロード（ブランチ全体ではなく）:
| ファイル名 | 量子化タイプ | ファイルサイズ | 分割 | 説明 |
|---|---|---|---|---|
| sarvam-m-bf16.gguf | bf16 | 47.15GB | false | 完全なBF16重み。 |
| sarvam-m-Q8_0.gguf | Q8_0 | 25.05GB | false | 非常に高品質、一般的には不要だが利用可能な最大量子化。 |
| sarvam-m-Q6_K_L.gguf | Q6_K_L | 19.67GB | false | 埋め込みと出力重みにQ8_0を使用。非常に高品質、ほぼ完璧、推奨。 |
| sarvam-m-Q6_K.gguf | Q6_K | 19.35GB | false | 非常に高品質、ほぼ完璧、推奨。 |
| sarvam-m-Q5_K_L.gguf | Q5_K_L | 17.18GB | false | 埋め込みと出力重みにQ8_0を使用。高品質、推奨。 |
| sarvam-m-Q5_K_M.gguf | Q5_K_M | 16.76GB | false | 高品質、推奨。 |
| sarvam-m-Q5_K_S.gguf | Q5_K_S | 16.30GB | false | 高品質、推奨。 |
| sarvam-m-Q4_1.gguf | Q4_1 | 14.87GB | false | レガシー形式、Q4_K_Sと類似の性能だがAppleシリコンでトークン/ワットが改善。 |
| sarvam-m-Q4_K_L.gguf | Q4_K_L | 14.83GB | false | 埋め込みと出力重みにQ8_0を使用。良好な品質、推奨。 |
| sarvam-m-Q4_K_M.gguf | Q4_K_M | 14.33GB | false | 良好な品質、ほとんどのユースケースでデフォルトサイズ、推奨。 |
| sarvam-m-Q4_K_S.gguf | Q4_K_S | 13.55GB | false | 品質はやや低いがスペース節約、推奨。 |
| sarvam-m-Q4_0.gguf | Q4_0 | 13.49GB | false | レガシー形式、ARMおよびAVX CPU推論用にオンライン再パッキングを提供。 |
| sarvam-m-IQ4_NL.gguf | IQ4_NL | 13.47GB | false | IQ4_XSと類似だがやや大きい。ARM CPU推論用にオンライン再パッキングを提供。 |
| sarvam-m-Q3_K_XL.gguf | Q3_K_XL | 12.99GB | false | 埋め込みと出力重みにQ8_0を使用。品質は低いが使用可能、低RAM環境に適す。 |
| sarvam-m-IQ4_XS.gguf | IQ4_XS | 12.76GB | false | 良好な品質、Q4_K_Sより小さく類似の性能、推奨。 |
| sarvam-m-Q3_K_L.gguf | Q3_K_L | 12.40GB | false | 品質は低いが使用可能、低RAM環境に適す。 |
| sarvam-m-Q3_K_M.gguf | Q3_K_M | 11.47GB | false | 低品質。 |
| sarvam-m-IQ3_M.gguf | IQ3_M | 10.65GB | false | 中低品質、Q3_K_Mと比較可能な性能を持つ新しい手法。 |
| sarvam-m-Q3_K_S.gguf | Q3_K_S | 10.40GB | false | 低品質、非推奨。 |
| sarvam-m-IQ3_XS.gguf | IQ3_XS | 9.91GB | false | 低品質、新しい手法でQ3_K_Sよりやや優れた性能。 |
| sarvam-m-Q2_K_L.gguf | Q2_K_L | 9.55GB | false | 埋め込みと出力重みにQ8_0を使用。非常に低品質だが驚くほど使用可能。 |
| sarvam-m-IQ3_XXS.gguf | IQ3_XXS | 9.28GB | false | 低品質、新しい手法でQ3量子化と比較可能な性能。 |
| sarvam-m-Q2_K.gguf | Q2_K | 8.89GB | false | 非常に低品質だが驚くほど使用可能。 |
| sarvam-m-IQ2_M.gguf | IQ2_M | 8.11GB | false | 比較的低品質、SOTA技術を使用し驚くほど使用可能。 |
| sarvam-m-IQ2_S.gguf | IQ2_S | 7.48GB | false | 低品質、SOTA技術を使用し使用可能。 |
| sarvam-m-IQ2_XS.gguf | IQ2_XS | 7.21GB | false | 低品質、SOTA技術を使用し使用可能。 |
埋め込み/出力重み
これらの量子化の一部（Q3_K_XL、Q4_K_Lなど）は、埋め込みと出力重みを通常のデフォルトではなくQ8_0に量子化した標準的な量子化手法です。
huggingface-cliを使用したダウンロード
ダウンロード手順を表示するにはクリック
まず、huggingface-cliがインストールされていることを確認してください:
pip install -U "huggingface_hub[cli]"
次に、特定のファイルをターゲットにできます:
huggingface-cli download bartowski/sarvamai_sarvam-m-GGUF --include "sarvamai_sarvam-m-Q4_K_M.gguf" --local-dir ./
モデルが50GBを超える場合、複数のファイルに分割されています。それらすべてをローカルフォルダにダウンロードするには、以下を実行します:
huggingface-cli download bartowski/sarvamai_sarvam-m-GGUF --include "sarvamai_sarvam-m-Q8_0/*" --local-dir ./
新しいlocal-dir（sarvamai_sarvam-m-Q8_0）を指定するか、すべてをその場（./）にダウンロードできます。
ARM/AVX情報
以前は、Q4_0_4_4/4_8/8_8をダウンロードし、これらの重みはメモリ内でインターリーブされ、ARMおよびAVXマシンでのパフォーマンスを向上させるために一度により多くのデータをロードしていました。
しかし、現在は重みの「オンライン再パッキング」と呼ばれるものがあります。詳細はこのPRにあります。Q4_0を使用し、ハードウェアが重みの再パッキングの恩恵を受ける場合、自動的にオンザフライで行われます。
llama.cppビルドb4282以降、Q4_0_X_Xファイルを実行できなくなり、代わりにQ4_0を使用する必要があります。
さらに、このPRのおかげで、IQ4_NLを使用すると、ARM用に重みを再パッキングし（現時点では4_4のみ）、ロード時間は遅くなる可能性がありますが、全体的な速度向上が得られます。
Q4_0_X_X情報を表示（非推奨）
このセクションは、Q4_0とオンライン再パッキングを使用した場合の潜在的な理論的なパフォーマンス向上を示すために保持しています。
AVX2システム（EPYC7702）でのベンチマークを表示
| モデル | サイズ | パラメータ | バックエンド | スレッド | テスト | t/s | % (vs Q4_0) |
|---|---|---|---|---|---|---|---|
| qwen2 3B Q4_0 | 1.70 GiB | 3.09 B | CPU | 64 | pp512 | 204.03 ± 1.03 | 100% |
| qwen2 3B Q4_0 | 1.70 GiB | 3.09 B | CPU | 64 | pp1024 | 282.92 ± 0.19 | 100% |
| qwen2 3B Q4_0 | 1.70 GiB | 3.09 B | CPU | 64 | pp2048 | 259.49 ± 0.44 | 100% |
| qwen2 3B Q4_0 | 1.70 GiB | 3.09 B | CPU | 64 | tg128 | 39.12 ± 0.27 | 100% |
| qwen2 3B Q4_0 | 1.70 GiB | 3.09 B | CPU | 64 | tg256 | 39.31 ± 0.69 | 100% |
| qwen2 3B Q4_0 | 1.70 GiB | 3.09 B | CPU | 64 | tg512 | 40.52 ± 0.03 | 100% |
| qwen2 3B Q4_K_M | 1.79 GiB | 3.09 B | CPU | 64 | pp512 | 301.02 ± 1.74 | 147% |
| qwen2 3B Q4_K_M | 1.79 GiB | 3.09 B | CPU | 64 | pp1024 | 287.23 ± 0.20 | 101% |
| qwen2 3B Q4_K_M | 1.79 GiB | 3.09 B | CPU | 64 | pp2048 | 262.77 ± 1.81 | 101% |
| qwen2 3B Q4_K_M | 1.79 GiB | 3.09 B | CPU | 64 | tg128 | 18.80 ± 0.99 | 48% |
| qwen2 3B Q4_K_M | 1.79 GiB | 3.09 B | CPU | 64 | tg256 | 24.46 ± 3.04 | 83% |
| qwen2 3B Q4_K_M | 1.79 GiB | 3.09 B | CPU | 64 | tg512 | 36.32 ± 3.59 | 90% |
| qwen2 3B Q4_0_8_8 | 1.69 GiB | 3.09 B | CPU | 64 | pp512 | 271.71 ± 3.53 | 133% |
| qwen2 3B Q4_0_8_8 | 1.69 GiB | 3.09 B | CPU | 64 | pp1024 | 279.86 ± 45.63 | 100% |
| qwen2 3B Q4_0_8_8 | 1.69 GiB | 3.09 B | CPU | 64 | pp2048 | 320.77 ± 5.00 | 124% |
| qwen2 3B Q4_0_8_8 | 1.69 GiB | 3.09 B | CPU | 64 | tg128 | 43.51 ± 0.05 | 111% |
| qwen2 3B Q4_0_8_8 | 1.69 GiB | 3.09 B | CPU | 64 | tg256 | 43.35 ± 0.09 | 110% |
| qwen2 3B Q4_0_8_8 | 1.69 GiB | 3.09 B | CPU | 64 | tg512 | 42.60 ± 0.31 | 105% |
Q4_0_8_8はプロンプト処理に良い向上をもたらし、テキスト生成にも小さな向上をもたらします。
どのファイルを選ぶべきか？
詳細はこちら
Artefact2によるさまざまなパフォーマンスを示すチャートを含む優れた説明がこちらに提供されています。
最初に、実行できるモデルの大きさを把握する必要があります。これには、RAMおよび/またはVRAMの量を把握する必要があります。
モデルを可能な限り高速に実行したい場合は、GPUのVRAM全体にモデルを収めたいでしょう。GPUの総VRAMより1-2GB小さい量子化を目指してください。
絶対的な最高品質を求めたい場合は、システムRAMとGPUのVRAMを合計し、同様に合計より1-2GB小さい量子化を選択してください。
次に、「I-quant」または「K-quant」を使用するかどうかを決定する必要があります。
あまり考えたくない場合は、K-quantのいずれかを選択してください。これらは「QX_K_X」形式で、Q5_K_Mなどです。
さらに詳しく知りたい場合は、この非常に便利な機能チャートを確認できます:
基本的に、Q4以下を目指しており、cuBLAS（Nvidia）またはrocBLAS（AMD）を実行している場合は、I-quantを検討してください。これらはIQX_X形式で、IQ3_Mなどです。これらは新しく、サイズに対してより優れたパフォーマンスを提供します。
これらのI-quantはCPUでも使用できますが、K-quant相当よりも遅くなるため、速度とパフォーマンスのトレードオフを決定する必要があります。
クレジット
imatrixキャリブレーションデータセットの作成に協力してくれたkalomazeとDampfに感謝します。
埋め込み/出力の実験にインスピレーションを与えてくれたZeroWwに感謝します。
私の仕事を支援してくれたLM Studioに感謝します。
私の仕事を支援したいですか？私のko-fiページを訪れてください: https://ko-fi.com/bartowski
Transformers Transformers 複数言語対応 Transformers 複数言語対応 Transformers 英語