# 低存儲需求

一個經過量化的文本生成模型，輸出和嵌入張量採用f16格式，其餘張量採用q5_k或q6_k量化，體積更小且性能與純f16版本持平。

該模型經過自行量化處理，輸出和嵌入張量量化為f16格式，其餘張量量化為q5_k或q6_k格式，體積更小且性能與純f16相當。

ZeroWw是一個經過量化的文本生成模型，輸出和嵌入張量使用f16格式，其餘張量使用q5_k或q6_k格式，體積更小且性能與純f16相當。

一種創新的量化方案，通過混合精度量化實現更小的模型體積和保持高性能。