# 本地部署

Jan-nano-8bit 是基於 Menlo/Jan-nano 模型轉換而來的 8 位量化版本，專為 MLX 框架優化，適用於文本生成任務。

MiniCPM4-8B-Q8_0-GGUF 是通過 llama.cpp 將 openbmb/MiniCPM4-8B 轉換為 GGUF 格式的模型，適用於本地推理。

Chinda LLM 4B是iApp Technology推出的前沿泰語模型，基於Qwen3-4B架構構建，為泰國AI生態系統帶來先進的思考能力。

Qwen3-235B-A22B-4bit-DWQ是基於Qwen3-235B-A22B-8bit模型轉換而來的4位量化版本，適用於文本生成任務。

Qwen3-8B-4bit-AWQ 是基於 Qwen/Qwen3-8B 轉換的 4bit AWQ 量化版本，適用於 MLX 框架的文本生成任務。

Qwen3-30B-A3B-4bit是基於Qwen/Qwen3-30B-A3B轉換的4位量化版本，適用於在MLX框架下進行高效的文本生成任務。

基於Qwen/Qwen3-8B轉換的8位量化MLX格式大語言模型，適用於文本生成任務

Qwen3-14B-4bit是基於Qwen/Qwen3-14B模型使用mlx-lm轉換的4位量化版本，適用於文本生成任務。

這是一個基於TheDrummer/Gemmasutra-9B-v1.1模型的量化版本，使用llama.cpp進行量化處理，適用於文本生成任務。

這是一個基於Qwen2.5-Coder-0.5B模型轉換的GGUF格式模型，適用於代碼生成任務。

這是一個4位量化的135M參數小型語言模型，適用於資源受限環境下的文本生成任務。

這是一個基於Google Gemma 2B模型轉換而來的GGUF格式模型，適用於文本生成任務。

Phi-3-mini-128k-instruct_function 是一個基於 GGUF 格式量化的文本生成模型，支持多種量化級別。

Llama 3 70B Instruct的GGUF格式版本，提供更高效的本地運行體驗

LongAlpaca-13B-GGUF是基於Yukang/LongAlpaca-13B模型的GGUF格式量化版本，支持2-8比特的量化選項，適用於本地文本生成任務。

TinyLlama是一個1.1B參數的輕量級Llama模型，專為聊天和編程輔助任務優化。