# 高效推理

DiffuCoder-7B-cpGRPO-8bit是一个转换为MLX格式的代码生成模型，基于apple/DiffuCoder-7B-cpGRPO转换而来，专为开发者提供高效的代码生成工具。

ERNIE-4.5-21B-A3B-PT-8bit 是百度 ERNIE-4.5-21B-A3B-PT 模型的 8 位量化版本，转换为 MLX 格式，适用于苹果芯片设备。

Qwen2.5-Coder-1.5B的GGUF量化版本，针对代码生成任务优化，提供多种量化选项以平衡性能与资源消耗。

这是chandar-lab/NeoBERT模型的静态量化版本，旨在减少模型存储空间和计算资源需求。

这是一个基于Qwen3-30B模型转换而来的4位量化版本，适用于MLX框架的文本生成任务。

慧慧AI量化模型是Magistral-Small-2506-abliterated的量化版本，致力于让知识为每个人所用。

Apriel-Nemotron-15b-Thinker是一款强大的推理模型，在同规模模型中表现出色，具有高效的内存使用和优秀的推理能力，适用于多种企业和学术场景。

这是一个文本转视频的量化模型，支持将文本描述转换为视频内容，并经过GGUF量化处理以提升推理效率。

SLANet_plus是一款用于表格结构识别的模型，能够将不可编辑的表格图像转换为可编辑的表格格式（如HTML），在表格识别系统中发挥着重要作用，可有效提升表格识别的准确性和效率。

Qwen3-Reranker-0.6B的量化版本，致力于让知识为每个人所用。

MiniCPM4-MCP是一款开源的端侧大语言模型智能体模型，基于80亿参数的MiniCPM-4构建，能够通过MCP与各种工具和数据资源交互，解决广泛的现实世界任务。

这是google/gemma-3-27b-it的量化版本，支持视觉-文本输入和文本输出，通过权重量化和激活量化优化，可使用vLLM进行高效推理。

该项目提供了优化后的GGUF量化文件，可显著提升模型性能。这些量化文件由Featherless AI提供支持，用户只需支付少量费用，即可运行任意所需模型。

DeepSeek-R1-0528模型的GPTQ量化版本，采用Int4 + 选择性Int8的量化方案，在保证生成质量的同时减小文件大小。

Qwen2-Audio-7B-Instruct的加权/矩阵量化模型，支持英文音频文本转文本任务

DeepSeek-R1-0528-Qwen3-8B的AWQ量化版本，适用于特定场景下的高效推理。

QVikhr-3-1.7B-Instruction-noreasoning 是一个基于 Qwen/Qwen3-1.7B 的指令模型，在俄语数据集 GrandMaster2 上进行训练，专为高效处理俄语和英语文本而设计。

由DeepSeek AI开发的大语言模型，经过4位量化优化，适用于苹果芯片设备。

DeepSeek-R1-0528-4bit 是一个基于 DeepSeek-R1-0528 转换而来的 4 位量化模型，专为 MLX 框架优化。

由日本国立情报学研究所开发的大语言模型，基于LLM-jp-3构建，通过指令预训练技术显著提升了遵循指令的能力。

LLM-jp-3.1-1.8b是由日本国立情报学研究所开发的大语言模型，基于LLM-jp-3系列，融入指令预训练增强指令遵循能力。

DMind-1 是一个文本生成基础模型，致力于让知识自由传播。

DMind-1-mini 是一个轻量级的文本生成模型，适用于多种自然语言处理任务。

Devstral-Small-2505的量化版本，提供多种精度选择以适应不同硬件需求

本项目提供了academic-ds-9B的量化版本，旨在让知识为每个人所用。

MedGemma-27B-Text-IT 是 Google 开发的一个大型语言模型，专注于医疗领域的文本生成任务。

由mistralai开发的Devstral-Small-2505模型，经过MLX 4位量化优化，适用于Apple Silicon设备。

KernelLLM是Facebook开发的大语言模型，此版本为使用llama.cpp工具进行imatrix量化的版本，提供多种量化选项以适应不同硬件需求。

基于a-m-team/AM-Thinking-v1模型的Llamacpp imatrix量化版本，支持多种量化类型，适用于文本生成任务。

Vintern-1B-v3_5是一个10亿参数的视觉语言模型，支持图像文本生成任务。

Sam-reason-S2.1的静态量化版本，提供多种量化选项以适应不同硬件需求

DeepSeek-R1T-Chimera 是一个文本生成模型，基于 tngtech 的技术开发，专注于高效的自然语言处理任务。

基于TheDrummer/Snowpiercer-15B-v1模型的量化版本，使用llama.cpp进行量化，适用于文本生成任务。

专为Rust代码中间填充(FIM)任务微调的大语言模型，基于JetBrains/Mellum-4b-base构建

灵曦是由InclusionAI开源的大规模混合专家语言模型，精简版拥有168亿总参数与27.5亿激活参数，展现出卓越性能表现。

这是一个在Hugging Face Hub上发布的transformers模型，具体功能和用途待补充。

ServiceNow推出的150亿参数高效推理模型，内存占用仅为同类先进模型的一半

这是一个基于Qwen3-30B-A3B模型的4位量化版本，通过从6位量化蒸馏至4位定制的DWQ量化技术制作，适用于文本生成任务。

Qwen3-30B-A3B-FP8-dynamic是基于Qwen3-30B-A3B模型通过FP8量化优化的版本，显著降低了内存需求和计算成本，同时保持了原始模型的高准确率。

Qwen3-8B-AWQ是通义千问系列最新一代8.2B参数的大语言模型，采用AWQ 4-bit量化技术优化推理效率。支持思维与非思维模式切换，具备卓越的推理、指令遵循和智能体能力。