# 高效量化推理

這是Gryphe的Codex-24B-Small-3.2模型的量化版本，通過量化技術優化了在不同硬件條件下的運行效率。

Blitzar-Coder-4B-F.1是一個高效的多語言編碼模型，基於Qwen3-4B微調，支持10多種編程語言，具備出色的代碼生成、調試和推理能力。

Qwen3是通義千問系列最新一代大語言模型，提供完整的稠密模型與混合專家（MoE）模型組合。基於大規模訓練，Qwen3在推理能力、指令遵循、智能體功能及多語言支持方面實現突破性進展。

基於Qwen3-8B模型的NEO Imatrix量化版本，支持32K長上下文和增強推理能力

該項目提供了llava-1.5-13b-hf模型的加權/矩陣量化版本，包含多種量化類型選擇，適用於不同場景下的使用需求。

這是一個基於mistralai/Mistral-Small-3.1-24B-Instruct-2503轉換的GGUF格式模型，支持多語言文本生成任務。

這是LGAI-EXAONE發佈的EXAONE-Deep-2.4B模型的量化版本，使用llama.cpp進行量化，支持英語和韓語文本生成任務。

這是對zed-industries的zeta模型進行的Llamacpp imatrix量化版本，解決了在不同硬件條件下高效運行模型的問題，提供了多種量化類型供用戶選擇。

Virtuoso-Lite的量化版本，使用llama.cpp進行量化處理，提升在不同硬件上的運行效率。

基於Qwen2-VL-7B-Instruct的多模態模型量化版本，支持圖像文本到文本任務，適用於多種量化級別。

EuroLLM-9B-Instruct是一個多語言指令跟隨大語言模型，支持40+種語言，特別優化了歐洲語言處理能力。

該模型是通過ggml.ai的GGUF-my-repo空間，使用llama.cpp從google-t5/t5-3b轉換至GGUF格式的量化版本。

這是NTQAI/Nxcode-CQ-7B-orpo模型的Llama.cpp imatrix量化版本，提供了多種量化類型的文件，適用於不同場景的需求。

這是使用llama.cpp對WizardLM-2-7B進行量化後的版本，基於正交化bfloat16 safetensor權重處理，支持多輪對話。

DeepSeek-V2-Lite-Chat 的 GGUF 量化版本，支持多種量化類型，適用於本地部署和推理。

Mixtral 是一個支持多語言的文本生成模型，採用混合專家（MoE）架構，支持英語、法語、意大利語、德語和西班牙語。