# 本地推理

INTELLECT-2-GGUF 是 PrimeIntellect/INTELLECT-2 的 GGUF 格式量化版本，適用於文本生成任務。

Qwen3-8B-4bit-DWQ 是基於 Qwen/Qwen3-8B 轉換至 MLX 格式的 4 位量化版本，適用於在 Apple 設備上高效運行。

Qwen3-30B-A3B-MLX-8bit 是基於 Qwen/Qwen3-30B-A3B 轉換的 8 位量化版本，專為 MLX 框架優化，適用於文本生成任務。

Gemma 3 12B 的 GGUF 量化版本，適用於文本生成任務。

PLLuM-8x7B-chat的GGUF量化版本，針對本地推理優化，支持多種量化級別以適應不同硬件需求。

Llama-3.2-3B-Instruct-abliterated的GGUF格式量化版本，支持多種比特量化選項，適用於文本生成任務。

Llama-3.2-3B-Instruct 模型的 GGUF 格式文件，方便用戶進行文本生成任務。

Phi-3.5-mini-instruct的GGUF格式模型文件，適用於文本生成任務。

Mistral-Nemo-Instruct-2407-GGUF 是 mistralai/Mistral-Nemo-Instruct-2407 的 GGUF 格式量化版本，支持多種量化位數（2-bit 至 8-bit），適用於文本生成任務。

DeepSeek-V2-Lite 的 GGUF 量化版本，通過 Llama.cpp imatrix 量化處理，減少存儲和計算資源需求，便於部署。