L

Llama 3 8B Instruct GPTQ 4 Bit

由astronomer開發
這是一個基於Meta Llama 3構建的4位量化GPTQ模型,由Astronomer量化,可在低VRAM設備上高效運行。
下載量 2,059
發布時間 : 4/19/2024

模型概述

該模型是Meta-Llama-3-8B-Instruct的4位量化版本,專為在資源有限的GPU上高效運行而優化,同時保持較高的生成質量。

模型特點

高效量化
4位GPTQ量化技術顯著減少模型大小和VRAM需求,同時保持較高的生成質量。
低資源運行
可在不到6GB VRAM的設備上運行,適合Nvidia T4、K80等入門級GPU。
優化推理
支持vLLM和text-generation-webui等多種推理框架,提供高效的文本生成服務。

模型能力

指令跟隨
文本生成
問答系統
對話系統

使用案例

對話系統
智能助手
構建響應迅速、理解力強的對話助手
可在資源有限的環境中提供流暢的對話體驗
內容生成
文本創作
生成各種類型的文本內容
保持原始模型90%以上的生成質量
AIbase
智啟未來,您的人工智能解決方案智庫
© 2025AIbase