# 4位量化推理

DeepSeek-R1-0528 671B模型的4位AWQ量化版本，适合在高端GPU节点上使用

这是一个使用GPTQ方法对GLM-4-32B-0414进行4位量化的模型，适用于消费级硬件。

基于 google/gemma-3-12b-it-qat-q4_0-unquantized 转换的 MLX 格式模型，支持图文生成任务

Gemma 3 12B IT MLX 4Bit 是基于 unsloth/gemma-3-12b-it 转换而来的 MLX 格式模型，适用于苹果芯片设备。

科吉托·马克西姆斯是基于Qwen2.5-72B指令微调模型优化的高级文本生成模型，采用Unsloth加速训练和TRL微调框架，适用于多种文本生成场景。

基于Mistral 7B架构的文本摘要模型，采用LoRA技术优化微调效率和性能。

QwQ-32B-Preview的AWQ 4位量化版本，显著降低内存使用和计算需求，适合资源有限的硬件部署。

基于Aria-sequential_mlp的BitsAndBytes NF4量化版本，适用于图像文本到文本任务，显存需求约15.5 GB。

基于Meta-Llama-3.1-8B的4位量化微调模型，专注于文本生成任务，特别是文本到SQL转换

Mistral-7B-Instruct-v0.3是基于Mistral-7B-v0.3进行指令微调的大语言模型，采用4位AWQ量化技术优化推理效率

Phi-3 4k Instruct 是一个轻量级但功能强大的语言模型，经过4位量化处理以降低资源需求。

基于Llama 2 7B模型进行数学领域微调的聊天模型，支持文本生成任务

Deepseek LLM 7B Base 是一个7B参数规模的基础大语言模型，采用AWQ量化技术优化推理效率。

AceGPT 13B聊天版的AWQ量化版本，支持英语和阿拉伯语，专为普通GPU用户设计，提供高效的4位量化推理能力。

这是一个针对Meta Llama 2 7B模型进行微调的适配器，专门用于将捷克语文本翻译成英语。

基于Llama2架构的预训练语言模型，适用于英语文本生成任务

基于Llama-2-7b-chat模型在医学问答数据集MedQuAD上微调的医疗问答模型

Falcon-7B-Instruct的4位量化版本，使用AutoGPTQ工具进行量化，适用于资源受限环境下的高效推理。