inclusionAI_Ling-lite-0415-GGUFオープンソースモデル - さまざまな量子化で異なるハードウェアに適合

ホーム

Inclusionai Ling Lite 0415 GGUF

bartowskiによって開発

inclusionAI/Ling-liteを基にした量子化バージョンで、llama.cppを使用してimatrix量子化を行い、さまざまなハードウェア要件に対応するために複数の量子化タイプをサポートしています。

大規模言語モデルオープンソースライセンス:MIT #マルチ量子化バージョン #低リソース展開 #テキスト生成

ダウンロード数 3,112

リリース時間 : 4/21/2025

モデル概要

これはテキスト生成モデルで、異なるハードウェア上での実行効率を最適化するために量子化処理が施されており、高い生成品質を維持しています。

モデル特徴

複数の量子化オプション

BF16からIQ2_XSまで、さまざまな量子化タイプを提供し、異なるハードウェアと性能要件に対応します。

高品質なテキスト生成

高い圧縮率の量子化下でも、高いテキスト生成品質を維持できます。

ハードウェア互換性

LM Studio、llama.cpp、およびllama.cppを基にしたプロジェクトで動作し、さまざまなハードウェアプラットフォームと互換性があります。

モデル能力

テキスト生成

マルチターン会話

構造化プロンプトのサポート

使用事例

ダイアログシステム

インテリジェントアシスタント

ユーザーのクエリやタスクを処理するインテリジェントな対話アシスタントの構築に使用できます。

コンテンツ生成

クリエイティブライティング

ストーリー創作、詩の生成などのクリエイティブなライティングタスクを支援します。

quantized_by: bartowski pipeline_tag: text-generation license: mit base_model: inclusionAI/Ling-lite base_model_relation: quantized

inclusionAIのLing-lite-0415に対するLlamacpp imatrix量子化

量子化にはllama.cppのリリースb5147を使用しています。

オリジナルモデル: https://huggingface.co/inclusionAI/Ling-lite

すべての量子化は、こちらのデータセットを使用してimatrixオプションで作成されました。

LM Studioで実行可能

llama.cppまたは他のllama.cppベースのプロジェクトで直接実行可能

プロンプト形式

<role>SYSTEM</role>{system_prompt}<role>HUMAN</role>{prompt}<role>ASSISTANT</role><role>ASSISTANT</role>

以下のファイルをダウンロード（ブランチ全体ではなく）:

ファイル名	量子化タイプ	ファイルサイズ	分割	説明
Ling-lite-0415-bf16.gguf	bf16	33.62GB	false	完全なBF16ウェイト。
Ling-lite-0415-Q8_0.gguf	Q8_0	17.87GB	false	非常に高品質、一般的には不要だが利用可能な最大量子化。
Ling-lite-0415-Q6_K_L.gguf	Q6_K_L	15.18GB	false	埋め込みと出力ウェイトにQ8_0を使用。非常に高品質、ほぼ完璧、推奨。
Ling-lite-0415-Q6_K.gguf	Q6_K	15.05GB	false	非常に高品質、ほぼ完璧、推奨。
Ling-lite-0415-Q5_K_L.gguf	Q5_K_L	12.91GB	false	埋め込みと出力ウェイトにQ8_0を使用。高品質、推奨。
Ling-lite-0415-Q5_K_M.gguf	Q5_K_M	12.75GB	false	高品質、推奨。
Ling-lite-0415-Q5_K_S.gguf	Q5_K_S	11.93GB	false	高品質、推奨。
Ling-lite-0415-Q4_K_L.gguf	Q4_K_L	11.37GB	false	埋め込みと出力ウェイトにQ8_0を使用。良好な品質、推奨。
Ling-lite-0415-Q4_K_M.gguf	Q4_K_M	11.18GB	false	良好な品質、ほとんどのユースケースに適したデフォルトサイズ、推奨。
Ling-lite-0415-Q4_1.gguf	Q4_1	10.57GB	false	レガシーフォーマット、Q4_K_Sと同様の性能だがAppleシリコンでトークン/ワットが向上。
Ling-lite-0415-Q4_K_S.gguf	Q4_K_S	10.22GB	false	品質はやや低いがスペース節約効果大、推奨。
Ling-lite-0415-Q4_0.gguf	Q4_0	9.57GB	false	レガシーフォーマット、ARMおよびAVX CPU推論用にオンライン再パッキングを提供。
Ling-lite-0415-IQ4_NL.gguf	IQ4_NL	9.54GB	false	IQ4_XSと類似だがやや大きい。ARM CPU推論用にオンライン再パッキングを提供。
Ling-lite-0415-Q3_K_XL.gguf	Q3_K_XL	9.30GB	false	埋め込みと出力ウェイトにQ8_0を使用。品質は低いが使用可能、RAMが少ない場合に適しています。
Ling-lite-0415-IQ4_XS.gguf	IQ4_XS	9.19GB	false	良好な品質、Q4_K_Sより小さく同様の性能、推奨。
Ling-lite-0415-Q3_K_L.gguf	Q3_K_L	9.07GB	false	品質は低いが使用可能、RAMが少ない場合に適しています。
Ling-lite-0415-Q3_K_M.gguf	Q3_K_M	8.73GB	false	低品質。
Ling-lite-0415-IQ3_M.gguf	IQ3_M	8.12GB	false	中低品質、Q3_K_Mと同等の性能を持つ新しい手法。
Ling-lite-0415-Q3_K_S.gguf	Q3_K_S	8.03GB	false	低品質、非推奨。
Ling-lite-0415-IQ3_XS.gguf	IQ3_XS	7.65GB	false	低品質、Q3_K_Sよりやや優れた性能を持つ新しい手法。
Ling-lite-0415-IQ3_XXS.gguf	IQ3_XXS	7.47GB	false	低品質、Q3量子化と同等の性能を持つ新しい手法。
Ling-lite-0415-Q2_K_L.gguf	Q2_K_L	7.16GB	false	埋め込みと出力ウェイトにQ8_0を使用。非常に低品質だが驚くほど使用可能。
Ling-lite-0415-Q2_K.gguf	Q2_K	6.91GB	false	非常に低品質だが驚くほど使用可能。
Ling-lite-0415-IQ2_M.gguf	IQ2_M	6.80GB	false	比較的低品質だが、驚くほど使用可能なSOTA技術を使用。
Ling-lite-0415-IQ2_S.gguf	IQ2_S	6.45GB	false	低品質、使用可能なSOTA技術を使用。
Ling-lite-0415-IQ2_XS.gguf	IQ2_XS	6.41GB	false	低品質、使用可能なSOTA技術を使用。

埋め込み/出力ウェイト

これらの量子化（Q3_K_XL、Q4_K_Lなど）の一部は、埋め込みと出力ウェイトを通常のデフォルトではなくQ8_0で量子化した標準的な量子化手法です。

huggingface-cliを使用したダウンロード

ダウンロード手順を表示するにはクリック

まず、huggingface-cliがインストールされていることを確認してください:

pip install -U "huggingface_hub[cli]"

次に、特定のファイルを指定してダウンロードできます:

huggingface-cli download bartowski/inclusionAI_Ling-lite-0415-GGUF --include "inclusionAI_Ling-lite-0415-Q4_K_M.gguf" --local-dir ./

モデルが50GBを超える場合、複数のファイルに分割されています。すべてをローカルフォルダにダウンロードするには、次のコマンドを実行します:

huggingface-cli download bartowski/inclusionAI_Ling-lite-0415-GGUF --include "inclusionAI_Ling-lite-0415-Q8_0/*" --local-dir ./

新しいlocal-dir（inclusionAI_Ling-lite-0415-Q8_0）を指定するか、すべてをそのまま（./）ダウンロードできます。

ARM/AVX情報

以前は、Q4_0_4_4/4_8/8_8をダウンロードし、これらのウェイトをメモリ内でインターリーブして、ARMおよびAVXマシンでのパフォーマンスを向上させていました。

しかし現在は、ウェイトの「オンライン再パッキング」と呼ばれる機能があります。詳細はこのPRを参照してください。Q4_0を使用し、ハードウェアが再パッキングの恩恵を受ける場合、自動的にオンザフライで行われます。

llama.cppビルドb4282以降、Q4_0_X_Xファイルを実行できなくなり、代わりにQ4_0を使用する必要があります。

さらに、このPRにより、IQ4_NLを使用してARM向けにウェイトを再パッキングすることで、やや品質を向上させることができます（現時点では4_4のみ）。ロード時間は遅くなる可能性がありますが、全体的な速度向上につながります。

Q4_0_X_X情報（非推奨）を表示するにはクリック

このセクションは、Q4_0とオンライン再パッキングを使用した場合の理論的なパフォーマンス向上を示すために保持しています。

AVX2システム（EPYC7702）でのベンチマークを表示するにはクリック

モデル	サイズ	パラメータ	バックエンド	スレッド	テスト	t/s	% (vs Q4_0)
qwen2 3B Q4_0	1.70 GiB	3.09 B	CPU	64	pp512	204.03 ± 1.03	100%
qwen2 3B Q4_0	1.70 GiB	3.09 B	CPU	64	pp1024	282.92 ± 0.19	100%
qwen2 3B Q4_0	1.70 GiB	3.09 B	CPU	64	pp2048	259.49 ± 0.44	100%
qwen2 3B Q4_0	1.70 GiB	3.09 B	CPU	64	tg128	39.12 ± 0.27	100%
qwen2 3B Q4_0	1.70 GiB	3.09 B	CPU	64	tg256	39.31 ± 0.69	100%
qwen2 3B Q4_0	1.70 GiB	3.09 B	CPU	64	tg512	40.52 ± 0.03	100%
qwen2 3B Q4_K_M	1.79 GiB	3.09 B	CPU	64	pp512	301.02 ± 1.74	147%
qwen2 3B Q4_K_M	1.79 GiB	3.09 B	CPU	64	pp1024	287.23 ± 0.20	101%
qwen2 3B Q4_K_M	1.79 GiB	3.09 B	CPU	64	pp2048	262.77 ± 1.81	101%
qwen2 3B Q4_K_M	1.79 GiB	3.09 B	CPU	64	tg128	18.80 ± 0.99	48%
qwen2 3B Q4_K_M	1.79 GiB	3.09 B	CPU	64	tg256	24.46 ± 3.04	83%
qwen2 3B Q4_K_M	1.79 GiB	3.09 B	CPU	64	tg512	36.32 ± 3.59	90%
qwen2 3B Q4_0_8_8	1.69 GiB	3.09 B	CPU	64	pp512	271.71 ± 3.53	133%
qwen2 3B Q4_0_8_8	1.69 GiB	3.09 B	CPU	64	pp1024	279.86 ± 45.63	100%
qwen2 3B Q4_0_8_8	1.69 GiB	3.09 B	CPU	64	pp2048	320.77 ± 5.00	124%
qwen2 3B Q4_0_8_8	1.69 GiB	3.09 B	CPU	64	tg128	43.51 ± 0.05	111%
qwen2 3B Q4_0_8_8	1.69 GiB	3.09 B	CPU	64	tg256	43.35 ± 0.09	110%
qwen2 3B Q4_0_8_8	1.69 GiB	3.09 B	CPU	64	tg512	42.60 ± 0.31	105%