# f16嵌入優化

一個經過量化的文本生成模型，輸出和嵌入張量採用f16格式，其餘張量採用q5_k或q6_k量化，體積更小且性能與純f16版本持平。

ZeroWw是一個經過量化的文本生成模型，輸出和嵌入張量使用f16格式，其餘張量使用q5_k或q6_k格式，體積更小且性能與純f16相當。

一種創新的量化方案，通過混合精度量化實現更小的模型體積和保持高性能。