# 量子化テキスト生成

低スペックハードウェアとCPU専用環境向けに最適化された量子化バージョン、リソース制約下でプロダクション利用可能な推論設定

ZeroWwは量子化されたテキスト生成モデルで、出力と埋め込みテンソルはf16形式を使用し、残りのテンソルはq5_kまたはq6_k形式を使用しており、体積が小さく純粋なf16と同等の性能を発揮します。

量子化されたテキスト生成モデルで、出力と埋め込みテンソルはf16形式、その他のテンソルはq5_kまたはq6_k量子化されており、体積が小さく純粋なf16バージョンと同等の性能を維持しています。

Light-R1-14B-DSは14Bパラメータ規模の量子化大規模言語モデルで、テキスト生成タスクをサポートし、リソースが限られた環境での効率的な推論に適しています。

最適化された量子化モデルで、出力と埋め込みテンソルはf16形式を使用し、残りのテンソルはq5_kまたはq6_k形式を使用します。これにより、モデルのサイズが小さくなり、純粋なf16と同等の性能を維持します。

混合量子化技術を採用したテキスト生成モデルで、出力と埋め込みテンソルはf16形式を使用し、残りのテンソルはq5_kまたはq6_k量子化を採用しています。標準のq8_0量子化形式よりも体積が小さく、純粋なf16バージョンと同等の性能を維持しています。