# 4bit量化推理

這是THUDM/GLM-4-32B-0414模型的MLX格式版本，經過4位DWQ量化處理，適用於蘋果芯片設備的高效推理。

Gemma 3 12B模型的4位量化版本，適用於MLX框架，支持高效文本生成任務。

這是一個基於SWE-bench/SWE-agent-LM-32B模型轉換而來的4位量化版本，專為軟件工程任務優化的語言模型。

這是一個基於Qwen3-4B模型轉換到MLX格式的4位量化版本，適用於文本生成任務。

這是一個基於Qwen/Qwen3-0.6B模型轉換的4位量化版本，適用於MLX框架的高效推理。

GLM-4-32B-0414-4bit 是基於 THUDM/GLM-4-32B-0414 轉換而來的 MLX 格式模型，支持中英文文本生成任務。

這是一個使用Unsloth和Huggingface TRL庫優化的Mistral-7B指令微調模型，訓練速度提升2倍

Gemma 3 4B IT QAT 4bit 是一個經過量化感知訓練（QAT）的4位量化大語言模型，基於Gemma 3架構，專為MLX框架優化。

基於Unsloth和Huggingface TRL庫訓練的Llama模型，推理速度提升2倍

基於Unsloth優化的Llama 3.2 11B視覺指令微調模型，採用4位量化技術，訓練速度提升2倍

基於Qwen2-VL-7B模型的4位量化版本，使用Unsloth和Huggingface TRL庫進行訓練，推理速度提升2倍

基於Unsloth和Huggingface TRL庫優化的Qwen2模型，推理速度提升2倍

基於unsloth/llama-3.2-11b-vision-instruct-unsloth-bnb-4bit微調的多模態大語言模型，支持視覺指令理解任務，使用Unsloth優化訓練速度提升2倍。

基於Qwen2-VL-7B模型的微調版本，使用Unsloth和Huggingface的TRL庫進行訓練，速度提升2倍。

基於Meta-Llama-3.1-8B的4位量化版本微調的博多語-英語雙向翻譯模型，使用Unsloth優化訓練速度

這是一個基於QVikhr-2.5-1.5B-Instruct-SMPO模型的4位量化版本，專為MLX框架優化，支持俄語和英語的指令理解與生成任務。

這是基於Stable Diffusion 3.5 Large模型在DiffusionKit MLX框架上量化的版本，適用於圖像生成任務。

AWPortrait-FL的BNB-NF4量化版本，基於FLUX.1-dev開發的文本到圖像生成模型

該模型是基於google/gemma-2-9b-it微調的Text2Cypher模型，能夠將自然語言問題轉換為Neo4j圖數據庫的Cypher查詢語句。

Midnight-Miqu-70B-v1.5 是一個70B參數規模的大語言模型，支持文本生成等任務。

基於google/gemma-2b模型通過AWQ技術壓縮的4位量化版本，旨在提升推理效率並降低資源消耗。

該模型是從 CohereForAI/c4ai-command-r-v01 轉換為 MLX 格式的 4bit 量化版本，支持多語言對話和工具使用。

基於GPT4和Alpaca指令微調的13B參數語言模型，支持4bit量化推理