# 4位量化推理

DeepSeek-R1-0528 671B模型的4位AWQ量化版本，適合在高端GPU節點上使用

這是一個使用GPTQ方法對GLM-4-32B-0414進行4位量化的模型，適用於消費級硬件。

基於 google/gemma-3-12b-it-qat-q4_0-unquantized 轉換的 MLX 格式模型，支持圖文生成任務

Gemma 3 12B IT MLX 4Bit 是基於 unsloth/gemma-3-12b-it 轉換而來的 MLX 格式模型，適用於蘋果芯片設備。

科吉託·馬克西姆斯是基於Qwen2.5-72B指令微調模型優化的高級文本生成模型，採用Unsloth加速訓練和TRL微調框架，適用於多種文本生成場景。

基於Mistral 7B架構的文本摘要模型，採用LoRA技術優化微調效率和性能。

QwQ-32B-Preview的AWQ 4位量化版本，顯著降低內存使用和計算需求，適合資源有限的硬件部署。

基於Aria-sequential_mlp的BitsAndBytes NF4量化版本，適用於圖像文本到文本任務，顯存需求約15.5 GB。

基於Meta-Llama-3.1-8B的4位量化微調模型，專注於文本生成任務，特別是文本到SQL轉換

Mistral-7B-Instruct-v0.3是基於Mistral-7B-v0.3進行指令微調的大語言模型，採用4位AWQ量化技術優化推理效率

Phi-3 4k Instruct 是一個輕量級但功能強大的語言模型，經過4位量化處理以降低資源需求。

基於Llama 2 7B模型進行數學領域微調的聊天模型，支持文本生成任務

Deepseek LLM 7B Base 是一個7B參數規模的基礎大語言模型，採用AWQ量化技術優化推理效率。

AceGPT 13B聊天版的AWQ量化版本，支持英語和阿拉伯語，專為普通GPU用戶設計，提供高效的4位量化推理能力。

這是一個針對Meta Llama 2 7B模型進行微調的適配器，專門用於將捷克語文本翻譯成英語。

基於Llama2架構的預訓練語言模型，適用於英語文本生成任務

基於Llama-2-7b-chat模型在醫學問答數據集MedQuAD上微調的醫療問答模型

Falcon-7B-Instruct的4位量化版本，使用AutoGPTQ工具進行量化，適用於資源受限環境下的高效推理。