# GPTQ量化

这是对Qwen/Qwen3-Reranker-4B进行GPTQ量化的成果，显著降低了显存使用量

这是经过GPTQ量化的Qwen3-Embedding-4B模型，显存使用量显著降低，性能损失较小。

Qwen3-Embedding-8B的GPTQ量化版本，显著降低显存需求同时保持高性能

Qwen3-Embedding-0.6B的GPTQ量化版本，显存使用优化，性能损失较小

Qwen3-0.6B是通义千问系列最新一代0.6B参数规模的大语言模型，支持思维与非思维模式切换，具备卓越的推理、指令遵循和智能体能力。

Qwen3是通义千问系列大语言模型的最新版本，提供17亿参数的GPTQ 8位量化模型，支持思维与非思维模式切换，增强推理能力和多语言支持。

Orpheus-3B-0.1-FT 是一个基于因果语言模型的文本转语音模型，支持高效的量化压缩。

这是Qwen2.5-VL-3B-Instruct模型的GPTQ-Int4量化版本，适用于图像文本到文本的多模态任务，支持中文和英语。

这是Meta-Llama-3.1-8B-Instruct模型的INT4量化版本，使用GPTQ算法进行量化，适用于多语言对话场景。

基于QWEN的中医智能问诊模型，融合五行理论，提供个性化中医诊断服务

Meta的Llama 2 13B模型的GPTQ量化版本，适用于高效推理