# 低资源部署

DiffuCoder-7B-cpGRPO-8bit是一个转换为MLX格式的代码生成模型，基于apple/DiffuCoder-7B-cpGRPO转换而来，专为开发者提供高效的代码生成工具。

UniReason-Qwen3-14B-RL的静态量化版本，适用于文本生成和数学推理研究场景。

Google Gemma-3n-E2B模型的静态量化版本，提供多种量化类型以平衡模型大小和性能。

这是对Delta-Vector的Austral-70B-Winton模型进行的量化处理版本，通过量化技术减少模型的存储和计算资源需求，同时保持较好性能，适用于资源有限的场景。

这是chandar-lab/NeoBERT模型的静态量化版本，旨在减少模型存储空间和计算资源需求。

Gama-12B的量化版本，提供多种量化类型的文件，适用于文本生成任务，支持英语和葡萄牙语。

Gama-12B是一个多语言支持的大语言模型，提供多种量化版本以适应不同性能和精度需求。

LongWriter-Zero-32B 量化模型基于 THU-KEG/LongWriter-Zero-32B 基础模型，支持中英双语，适用于强化学习、写作等长上下文场景。

Skywork-SWE-32B是一个32B参数的大语言模型，经过Llamacpp imatrix量化，可在资源受限环境下高效运行。

这是NVIDIA AceReason - Nemotron - 1.1 - 7B模型的量化版本，通过优化模型在不同硬件上的运行效率，同时保持一定的性能和质量。

这是OpenBuddy-R1-0528-Distill-Qwen3-32B-Preview0-QAT的量化版本，借助量化技术可以在不同硬件条件下更高效地运行模型。

这是一个基于ONNX的量化模型，是Qwen/Qwen3-Embedding-0.6B的uint8量化版本，在保持检索性能的同时减少了模型大小。

这是一个文本到视频量化模型，基于特定基础模型进行量化转换，支持多种视频生成任务。

这是一个文本到视频的量化模型，将基础模型转换为GGUF格式，可在ComfyUI中使用，为文本到视频生成提供更多选择。

基于DeepSeek-R1-0528-Qwen3-8B模型转换的6位量化版本，适用于MLX框架的文本生成任务。

Blitzar-Coder-4B-F.1是一个高效的多语言编码模型，基于Qwen3-4B微调，支持10多种编程语言，具备出色的代码生成、调试和推理能力。

这是一个经过A8W8量化的多模态大语言模型，基于Qwen2.5-VL-7B-Instruct，支持视觉和语言任务。

该项目提供了Echelon-AI/Med-Qwen2-7B模型的GGUF量化文件，由Featherless AI提供支持，旨在增强模型性能并降低运行成本。

DeepSeek-R1-Distill-Qwen-14B 是一个经过优化的14B参数规模的大语言模型，由DeepSeek AI发布，基于Qwen架构蒸馏而来，提供多种GGUF量化版本以提升性能。

Gemma 3n是Google推出的轻量级、最先进的开源多模态模型家族，基于与Gemini模型相同的研究和技术构建，支持文本、音频和视觉输入。

Bielik-11B-v2.6-Instruct 是一个波兰语的大语言模型，由 SpeakLeash 和 ACK Cyfronet AGH 开发，基于 Bielik-11B-v2 微调而来，适用于指令跟随任务。

Phi-3.5-mini-instruct是一款轻量级、先进的开源模型，基于Phi-3使用的数据集构建，专注于高质量、富含推理的数据。支持128K令牌上下文长度，具有强大的多语言能力和长上下文处理能力。

Qwen2-Audio-7B-Instruct模型的静态量化版本，支持英文音频文本转文本任务

DrMedra4B是一个专注于医学领域的量化模型，支持英语和罗马尼亚语，适用于医疗人工智能、临床推理、摘要生成和诊断等任务。

基于DeepSeek-R1-0528的量化模型，专注于文本生成任务，提供更高效的使用方式。

这是Sarvam-m模型的量化版本，支持多种印度语言和英语的文本生成任务。

基于infly/inf-o1-pi0模型的量化版本，支持多语言文本生成任务，采用llama.cpp工具进行imatrix量化优化。

AceReason-Nemotron-7B 是一个基于 Nemotron 架构的 7B 参数规模的大型语言模型，提供多种量化版本以适应不同硬件需求。

基于allura-org/Q3-30B-A3B-Designant的Llamacpp imatrix量化版本，适用于多种量化需求，支持角色扮演和对话式任务。

这是一个基于MLX格式的4位量化语言模型，适用于文本生成任务。

medgemma-4b-it 是一个专注于医疗领域的多模态模型，能够处理图像和文本输入，适用于放射学、临床推理等多个医疗场景。

AM-Thinking-v1 是一个基于 GGUF 格式的文本生成模型，适用于多种自然语言处理任务。

KernelLLM是Facebook开发的大语言模型，此版本为使用llama.cpp工具进行imatrix量化的版本，提供多种量化选项以适应不同硬件需求。

这是Nellyw888/VeriReason-Qwen2.5-1.5B-grpo-small模型的静态量化版本，专注于Verilog代码生成和推理任务。

基于a-m-team/AM-Thinking-v1模型的Llamacpp imatrix量化版本，支持多种量化类型，适用于文本生成任务。

Big-Alice-28B-v1是一个28B参数的大语言模型，经过llama.cpp的imatrix量化处理，提供多种量化版本以适应不同硬件需求。

这是Wan-AI/Wan2.1-VACE-14B模型的GGUF量化转换版本，主要用于文本生成视频任务。

Qwen3是Qwen系列最新一代的大语言模型，提供0.6B参数的密集模型，在推理、指令遵循、代理能力和多语言支持方面有突破性进展。

这是一个12B参数的大语言模型，经过llama.cpp的imatrix量化处理，提供多种量化版本以适应不同硬件需求。

Qwen3是通义千问系列最新一代大语言模型，提供完整的稠密模型与混合专家（MoE）模型组合。基于大规模训练，Qwen3在推理能力、指令遵循、智能体功能及多语言支持方面实现突破性进展。