# 本地部署

Jan Nano 8bit
Apache-2.0
Jan-nano-8bit 是基于 Menlo/Jan-nano 模型转换而来的 8 位量化版本,专为 MLX 框架优化,适用于文本生成任务。
大型语言模型
J
mlx-community
188
1
Minicpm4 8B Q8 0 GGUF
Apache-2.0
MiniCPM4-8B-Q8_0-GGUF 是通过 llama.cpp 将 openbmb/MiniCPM4-8B 转换为 GGUF 格式的模型,适用于本地推理。
大型语言模型 Transformers 支持多种语言
M
AyyYOO
160
2
Chinda Qwen3 4b Gguf
Apache-2.0
Chinda LLM 4B是iApp Technology推出的前沿泰语模型,基于Qwen3-4B架构构建,为泰国AI生态系统带来先进的思考能力。
大型语言模型
C
iapp
115
1
Qwen3 235B A22B 4bit DWQ
Apache-2.0
Qwen3-235B-A22B-4bit-DWQ是基于Qwen3-235B-A22B-8bit模型转换而来的4位量化版本,适用于文本生成任务。
大型语言模型
Q
mlx-community
70
1
Qwen3 8B 4bit AWQ
Apache-2.0
Qwen3-8B-4bit-AWQ 是基于 Qwen/Qwen3-8B 转换的 4bit AWQ 量化版本,适用于 MLX 框架的文本生成任务。
大型语言模型
Q
mlx-community
1,682
1
Qwen3 30B A3B 4bit
Apache-2.0
Qwen3-30B-A3B-4bit是基于Qwen/Qwen3-30B-A3B转换的4位量化版本,适用于在MLX框架下进行高效的文本生成任务。
大型语言模型
Q
mlx-community
2,394
7
Qwen3 8B MLX 8bit
Apache-2.0
基于Qwen/Qwen3-8B转换的8位量化MLX格式大语言模型,适用于文本生成任务
大型语言模型
Q
lmstudio-community
63.46k
2
Qwen3 14B MLX 4bit
Apache-2.0
Qwen3-14B-4bit是基于Qwen/Qwen3-14B模型使用mlx-lm转换的4位量化版本,适用于文本生成任务。
大型语言模型
Q
lmstudio-community
3,178
4
Thedrummer Gemmasutra 9B V1.1 GGUF
其他
这是一个基于TheDrummer/Gemmasutra-9B-v1.1模型的量化版本,使用llama.cpp进行量化处理,适用于文本生成任务。
大型语言模型
T
bartowski
1,198
6
Qwen2.5 Coder 0.5B Q8 0 GGUF
Apache-2.0
这是一个基于Qwen2.5-Coder-0.5B模型转换的GGUF格式模型,适用于代码生成任务。
大型语言模型 支持多种语言
Q
ggml-org
943
5
Smollm 135M 4bit
Apache-2.0
这是一个4位量化的135M参数小型语言模型,适用于资源受限环境下的文本生成任务。
大型语言模型 Transformers 英语
S
mlx-community
312
1
Gemma 2 27b It Q8 0 GGUF
这是一个基于Google Gemma 2B模型转换而来的GGUF格式模型,适用于文本生成任务。
大型语言模型
G
KimChen
471
2
Phi 3 Mini 128k Instruct Function GGUF
Phi-3-mini-128k-instruct_function 是一个基于 GGUF 格式量化的文本生成模型,支持多种量化级别。
大型语言模型
P
afrideva
40
1
Meta Llama 3 70B Instruct GGUF
Llama 3 70B Instruct的GGUF格式版本,提供更高效的本地运行体验
大型语言模型 Transformers 英语
M
PawanKrd
468
4
Longalpaca 13B GGUF
LongAlpaca-13B-GGUF是基于Yukang/LongAlpaca-13B模型的GGUF格式量化版本,支持2-8比特的量化选项,适用于本地文本生成任务。
大型语言模型
L
MaziyarPanahi
285
3
Tinyllama 1.1B Chat V1.0 GGUF
Apache-2.0
TinyLlama是一个1.1B参数的轻量级Llama模型,专为聊天和编程辅助任务优化。
大型语言模型 英语
T
andrijdavid
117
2
AIbase
智启未来,您的人工智能解决方案智库
© 2025AIbase