# 高效量化推理

这是Gryphe的Codex-24B-Small-3.2模型的量化版本，通过量化技术优化了在不同硬件条件下的运行效率。

Blitzar-Coder-4B-F.1是一个高效的多语言编码模型，基于Qwen3-4B微调，支持10多种编程语言，具备出色的代码生成、调试和推理能力。

Qwen3是通义千问系列最新一代大语言模型，提供完整的稠密模型与混合专家（MoE）模型组合。基于大规模训练，Qwen3在推理能力、指令遵循、智能体功能及多语言支持方面实现突破性进展。

基于Qwen3-8B模型的NEO Imatrix量化版本，支持32K长上下文和增强推理能力

该项目提供了llava-1.5-13b-hf模型的加权/矩阵量化版本，包含多种量化类型选择，适用于不同场景下的使用需求。

这是一个基于mistralai/Mistral-Small-3.1-24B-Instruct-2503转换的GGUF格式模型，支持多语言文本生成任务。

这是LGAI-EXAONE发布的EXAONE-Deep-2.4B模型的量化版本，使用llama.cpp进行量化，支持英语和韩语文本生成任务。

这是对zed-industries的zeta模型进行的Llamacpp imatrix量化版本，解决了在不同硬件条件下高效运行模型的问题，提供了多种量化类型供用户选择。

Virtuoso-Lite的量化版本，使用llama.cpp进行量化处理，提升在不同硬件上的运行效率。

基于Qwen2-VL-7B-Instruct的多模态模型量化版本，支持图像文本到文本任务，适用于多种量化级别。

EuroLLM-9B-Instruct是一个多语言指令跟随大语言模型，支持40+种语言，特别优化了欧洲语言处理能力。

该模型是通过ggml.ai的GGUF-my-repo空间，使用llama.cpp从google-t5/t5-3b转换至GGUF格式的量化版本。

这是NTQAI/Nxcode-CQ-7B-orpo模型的Llama.cpp imatrix量化版本，提供了多种量化类型的文件，适用于不同场景的需求。

这是使用llama.cpp对WizardLM-2-7B进行量化后的版本，基于正交化bfloat16 safetensor权重处理，支持多轮对话。

DeepSeek-V2-Lite-Chat 的 GGUF 量化版本，支持多种量化类型，适用于本地部署和推理。

Mixtral 是一个支持多语言的文本生成模型，采用混合专家（MoE）架构，支持英语、法语、意大利语、德语和西班牙语。