# GPTQ量化

這是對Qwen/Qwen3-Reranker-4B進行GPTQ量化的成果，顯著降低了顯存使用量

這是經過GPTQ量化的Qwen3-Embedding-4B模型，顯存使用量顯著降低，性能損失較小。

Qwen3-Embedding-8B的GPTQ量化版本，顯著降低顯存需求同時保持高性能

Qwen3-Embedding-0.6B的GPTQ量化版本，顯存使用優化，性能損失較小

Qwen3-0.6B是通義千問系列最新一代0.6B參數規模的大語言模型，支持思維與非思維模式切換，具備卓越的推理、指令遵循和智能體能力。

Qwen3是通義千問系列大語言模型的最新版本，提供17億參數的GPTQ 8位量化模型，支持思維與非思維模式切換，增強推理能力和多語言支持。

Orpheus-3B-0.1-FT 是一個基於因果語言模型的文本轉語音模型，支持高效的量化壓縮。

這是Qwen2.5-VL-3B-Instruct模型的GPTQ-Int4量化版本，適用於圖像文本到文本的多模態任務，支持中文和英語。

這是Meta-Llama-3.1-8B-Instruct模型的INT4量化版本，使用GPTQ算法進行量化，適用於多語言對話場景。

基於QWEN的中醫智能問診模型，融合五行理論，提供個性化中醫診斷服務

Meta的Llama 2 13B模型的GPTQ量化版本，適用於高效推理