K

Kimi Dev 72B GGUF

由 ubergarm 开发
Kimi-Dev-72B的量化版本,采用先进的非线性最优量化和多头潜在注意力机制,减少存储和计算需求。
下载量 2,780
发布时间 : 6/19/2025

模型简介

该模型是Kimi-Dev-72B的量化版本,通过特定的量化方法在保证性能的同时降低资源消耗,适用于文本生成任务。

模型特点

先进的量化方法
采用非线性最优量化和多头潜在注意力机制,显著减少模型存储和计算需求。
高性能推理
在高端硬件配置下,每批2k时PP约500个令牌/秒,TG约5个令牌/秒。
平衡的质量与速度
通过一系列实验性量化测试,在质量和速度之间取得了不错的平衡。

模型能力

文本生成
高效推理
量化模型支持

使用案例

文本生成
高效文本生成
在保证一定性能的前提下,减少模型的存储和计算需求,适用于需要高效文本生成的场景。
每批2k时PP约500个令牌/秒,TG约5个令牌/秒。
AIbase
智启未来,您的人工智能解决方案智库
© 2025AIbase