K

Kimi Dev 72B GGUF

ubergarmによって開発
Kimi-Dev-72Bの量子化バージョンで、先進的な非線形最適量子化とマルチヘッド潜在注意力機構を採用し、ストレージと計算要件を削減します。
ダウンロード数 2,780
リリース時間 : 6/19/2025

モデル概要

このモデルはKimi-Dev-72Bの量子化バージョンで、特定の量子化方法を通じて性能を保ちながらリソース消費を削減し、テキスト生成タスクに適しています。

モデル特徴

先進的な量子化方法
非線形最適量子化とマルチヘッド潜在注意力機構を採用し、モデルのストレージと計算要件を大幅に削減します。
高性能推論
高級ハードウェア構成では、バッチサイズ2kの場合、PPは約500トークン/秒、TGは約5トークン/秒です。
品質と速度のバランス
一連の実験的な量子化テストを通じて、品質と速度のバランスをうまく取りました。

モデル能力

テキスト生成
効率的な推論
量子化モデルサポート

使用事例

テキスト生成
効率的なテキスト生成
一定の性能を保ちながら、モデルのストレージと計算要件を削減し、効率的なテキスト生成が必要なシナリオに適しています。
バッチサイズ2kの場合、PPは約500トークン/秒、TGは約5トークン/秒です。
AIbase
未来を切り開く、あなたのAIソリューション知識ベース
© 2025AIbase