# 本地部署

Jan-nano-8bit 是基于 Menlo/Jan-nano 模型转换而来的 8 位量化版本，专为 MLX 框架优化，适用于文本生成任务。

MiniCPM4-8B-Q8_0-GGUF 是通过 llama.cpp 将 openbmb/MiniCPM4-8B 转换为 GGUF 格式的模型，适用于本地推理。

Chinda LLM 4B是iApp Technology推出的前沿泰语模型，基于Qwen3-4B架构构建，为泰国AI生态系统带来先进的思考能力。

Qwen3-235B-A22B-4bit-DWQ是基于Qwen3-235B-A22B-8bit模型转换而来的4位量化版本，适用于文本生成任务。

Qwen3-8B-4bit-AWQ 是基于 Qwen/Qwen3-8B 转换的 4bit AWQ 量化版本，适用于 MLX 框架的文本生成任务。

Qwen3-30B-A3B-4bit是基于Qwen/Qwen3-30B-A3B转换的4位量化版本，适用于在MLX框架下进行高效的文本生成任务。

基于Qwen/Qwen3-8B转换的8位量化MLX格式大语言模型，适用于文本生成任务

Qwen3-14B-4bit是基于Qwen/Qwen3-14B模型使用mlx-lm转换的4位量化版本，适用于文本生成任务。

这是一个基于TheDrummer/Gemmasutra-9B-v1.1模型的量化版本，使用llama.cpp进行量化处理，适用于文本生成任务。

这是一个基于Qwen2.5-Coder-0.5B模型转换的GGUF格式模型，适用于代码生成任务。

这是一个4位量化的135M参数小型语言模型，适用于资源受限环境下的文本生成任务。

这是一个基于Google Gemma 2B模型转换而来的GGUF格式模型，适用于文本生成任务。

Phi-3-mini-128k-instruct_function 是一个基于 GGUF 格式量化的文本生成模型，支持多种量化级别。

Llama 3 70B Instruct的GGUF格式版本，提供更高效的本地运行体验

LongAlpaca-13B-GGUF是基于Yukang/LongAlpaca-13B模型的GGUF格式量化版本，支持2-8比特的量化选项，适用于本地文本生成任务。

TinyLlama是一个1.1B参数的轻量级Llama模型，专为聊天和编程辅助任务优化。