A

Acip Llama31 8b

由MerantixMomentum開發
ACIP項目提供的可壓縮版本Llama-3.1-8B模型,支持動態調整壓縮率並保持性能
下載量 24
發布時間 : 4/15/2025

模型概述

基於Llama-3.1-8B的可壓縮模型,通過ACIP技術實現參數量的靈活調整,支持無損壓縮和量化

模型特點

動態可壓縮性
支持通過size_ratio參數即時調整模型壓縮率(0-100%),且操作可逆
無損壓縮
壓縮過程保留原始模型性能,壓縮後仍可進行推理或微調
量化支持
兼容bitsandbytes的4比特量化方案,可進一步降低內存佔用

模型能力

多語言文本生成
模型壓縮
量化推理

使用案例

資源優化
邊緣設備部署
通過壓縮和量化在資源受限設備上部署大語言模型
內存佔用減少60%以上
模型研究
壓縮率影響分析
快速測試不同壓縮率下的模型表現
無需重複訓練即可獲得壓縮性能曲線
AIbase
智啟未來,您的人工智能解決方案智庫
© 2025AIbase