# 本地推理

INTELLECT-2-GGUF 是 PrimeIntellect/INTELLECT-2 的 GGUF 格式量化版本，适用于文本生成任务。

Qwen3-8B-4bit-DWQ 是基于 Qwen/Qwen3-8B 转换至 MLX 格式的 4 位量化版本，适用于在 Apple 设备上高效运行。

Qwen3-30B-A3B-MLX-8bit 是基于 Qwen/Qwen3-30B-A3B 转换的 8 位量化版本，专为 MLX 框架优化，适用于文本生成任务。

Gemma 3 12B 的 GGUF 量化版本，适用于文本生成任务。

PLLuM-8x7B-chat的GGUF量化版本，针对本地推理优化，支持多种量化级别以适应不同硬件需求。

Llama-3.2-3B-Instruct-abliterated的GGUF格式量化版本，支持多种比特量化选项，适用于文本生成任务。

Llama-3.2-3B-Instruct 模型的 GGUF 格式文件，方便用户进行文本生成任务。

Phi-3.5-mini-instruct的GGUF格式模型文件，适用于文本生成任务。

Mistral-Nemo-Instruct-2407-GGUF 是 mistralai/Mistral-Nemo-Instruct-2407 的 GGUF 格式量化版本，支持多种量化位数（2-bit 至 8-bit），适用于文本生成任务。

DeepSeek-V2-Lite 的 GGUF 量化版本，通过 Llama.cpp imatrix 量化处理，减少存储和计算资源需求，便于部署。