# 本地化部署

Jan Nano GGUF
Apache-2.0
Jan-Nano是一款40億參數的緊湊型語言模型,專為深度研究任務設計,優化支持MCP服務器集成。
大型語言模型
J
unsloth
1,884
1
Openaudio Gguf
OpenAudio的GGUF量化版本是基於FishAudio模型的文本到語音合成工具,支持通過簡單命令運行,提供便捷的語音合成體驗。
語音合成
O
calcuis
287
3
Qwen3 235B A22B Mixed 3 6bit
Apache-2.0
這是一個基於Qwen/Qwen3-235B-A22B模型轉換而來的混合3-6位量化版本,適用於蘋果MLX框架的高效推理。
大型語言模型
Q
mlx-community
100
2
Foundation Sec 8B Instruct
Apache-2.0
Foundation-Sec-8B是一個開源的80億參數基礎語言模型,專為網絡安全應用設計,擴展了Llama-3.1-8B模型。
大型語言模型 Transformers 英語
F
2p8xx
255
3
Qwen3 8B Q4 K M GGUF
Apache-2.0
這是Qwen3-8B模型的GGUF格式版本,適用於llama.cpp框架,支持文本生成任務。
大型語言模型 Transformers
Q
ufoym
342
3
Qwen3 30B A3B GGUF
Qwen3-30B-A3B的GGUF量化版本,支持多種比特量化,適用於文本生成任務。
大型語言模型
Q
MaziyarPanahi
158.92k
3
Qwen Qwen3 8B GGUF
Apache-2.0
Qwen3-8B的GGUF格式量化版本,由TensorBlock提供,兼容llama.cpp
大型語言模型
Q
tensorblock
452
1
Qwen3 0.6B GGUF
Qwen3-0.6B的GGUF量化版本,適用於文本生成任務。
大型語言模型
Q
MaziyarPanahi
233.95k
2
Qwen Qwen3 8B GGUF
Apache-2.0
Qwen3-8B的量化版本,使用llama.cpp的imatrix選項進行量化,適用於文本生成任務。
大型語言模型
Q
bartowski
23.88k
18
Oute TTS 500M
Apache-2.0
OuteTTS是一個專注於土耳其語的文本轉語音(TTS)模型,基於500M參數規模,能夠將土耳其語文本轉換為自然語音。
語音合成 其他
O
Karayakar
27
0
Medra4b LORA
Apache-2.0
Medra是一款專為臨床推理、教育和對話建模設計的輕量級醫學語言模型,基於Gemma 3構建,適用於本地和移動端環境。
大型語言模型 Safetensors 支持多種語言
M
drwlf
53
1
Deepseek R1 GGUF UD
MIT
DeepSeek-R1 是一個高效的大語言模型,採用了 Unsloth Dynamic v2.0 量化技術,實現了卓越的準確性。
大型語言模型 英語
D
unsloth
3,149
11
3b Zh Ft Research Release Q8 0 GGUF
Apache-2.0
本模型是基於canopylabs/3b-zh-ft-research_release轉換而來的GGUF格式模型,適用於中文文本生成任務。
大型語言模型 中文
3
cludyw
20
0
Barcenas 4b
基於google/gemma-3-4b-it模型訓練的多模態模型,專注於數學、編程、科學和解謎領域的高質量數據處理。
圖像生成文本 Transformers 英語
B
Danielbrdz
15
2
3b Ko Ft Research Release Q4 K M GGUF
Apache-2.0
這是一個基於韓語優化的3B參數規模的語言模型,轉換為GGUF格式以便與llama.cpp兼容使用。
大型語言模型 韓語
3
freddyaboulton
165
0
Orpheus 3b 0.1 Ft Q8 0 GGUF
Apache-2.0
該模型是基於canopylabs/orpheus-3b-0.1-ft轉換而來的GGUF格式模型,適用於文本生成任務。
大型語言模型 英語
O
dodgeinmedia
22
0
Gemma 3 4b It GGUF
該模型是通過llama.cpp從google/gemma-3-4b-it轉換為GGUF格式的,適用於本地部署和推理。
大型語言模型
G
ysn-rfd
62
1
Deepseek V3 0324 GGUF
MIT
DeepSeek-V3-0324的GGUF量化版本,適用於本地文本生成任務。
大型語言模型
D
MaziyarPanahi
97.25k
19
Mistral Small 3.1 24b Instruct 2503 Hf GGUF
這是一個基於mrfakename/mistral-small-3.1-24b-instruct-2503-hf模型的GGUF格式量化版本,適用於文本生成任務。
大型語言模型
M
MaziyarPanahi
137.78k
2
Gemma 3 4b Pt Q4 0 GGUF
這是一個基於Google Gemma 3.4B參數模型轉換的GGUF格式模型,適用於文本生成任務。
大型語言模型
G
ngxson
74
1
Gemma 3 4b It Q4 K M GGUF
Gemma 3.4B IT 是由 Google 開發的開源大語言模型,此版本為通過 llama.cpp 轉換為 GGUF 格式的 4-bit 量化版本。
大型語言模型
G
DravenBlack
186
1
Gemma 3 12b It Q8 0 GGUF
該模型是從google/gemma-3-12b-it轉換而來的GGUF格式模型,適用於llama.cpp框架。
大型語言模型
G
NikolayKozloff
89
1
Gemma 3 1b It GGUF
Gemma 3 1B 模型的 GGUF 量化版本,適用於文本生成任務。
大型語言模型
G
MaziyarPanahi
256.05k
4
Llama 3.1 8B RainbowLight EtherealMix GGUF
這是一個基於Llama-3.1-8B-RainbowLight-EtherealMix模型的GGUF格式量化版本,便於進行文本生成相關的應用開發。
大型語言模型
L
MaziyarPanahi
101
1
Qwq 32B GGUF
QwQ-32B的GGUF格式量化版本,適用於本地文本生成任務。
大型語言模型
Q
MaziyarPanahi
459.38k
3
Qwen2 VL 7B Captioner Relaxed GGUF
Apache-2.0
該模型是基於Qwen2-VL-7B-Captioner-Relaxed轉換的GGUF格式版本,專為圖像轉文本任務優化,支持通過llama.cpp和Koboldcpp等工具運行。
圖像生成文本 英語
Q
r3b31
321
1
Mistral Small 24B Instruct 2501 GGUF
Mistral-Small-24B-Instruct-2501的GGUF量化版本,適用於本地部署和文本生成任務。
大型語言模型
M
MaziyarPanahi
474.73k
2
Llama 3.1 0x Mini Q8 0 GGUF
這是一個基於ozone-ai/llama-3.1-0x-mini轉換的GGUF格式模型,適用於llama.cpp框架。
大型語言模型
L
NikolayKozloff
19
1
MMS TTS THAI FEMALEV1
這是一個泰語女性語音文本轉語音(TTS)模型,基於VITS架構微調,支持高質量的泰語語音合成。
語音合成 Safetensors 其他
M
VIZINTZOR
81
2
Indri 0.1 124m Tts GGUF
Indri是一個支持英語和印地語的文本轉語音(TTS)模型,參數規模為124M,採用GGUF格式優化CPU推理。
語音合成 支持多種語言
I
11mlabs
86
0
Llama 2 7b Chat Hf Q4 K M GGUF
Meta發佈的Llama 2系列7B參數聊天模型GGUF量化版本,適用於本地部署和推理
大型語言模型 英語
L
matrixportal
220
4
Gte Qwen2 7B Instruct GGUF
Apache-2.0
由阿里巴巴NLP團隊開發的大語言模型,基於Qwen2架構的7B參數版本,支持指令交互
大型語言模型
G
tensorblock
1,502
11
Llama 3.2 1B Instruct GGUF
Llama-3.2-1B-Instruct的GGUF格式版本,提供更廣泛的支持和更好的性能。
大型語言模型
L
MaziyarPanahi
190.76k
12
Qwen2.5 7B Instruct GGUF
Qwen2.5-7B-Instruct 的 GGUF 格式量化模型,適用於文本生成任務。
大型語言模型
Q
MaziyarPanahi
194.13k
10
Qwen2.5 1.5B Instruct GGUF
Qwen2.5-1.5B-Instruct 模型的 GGUF 格式文件,適用於文本生成任務。
大型語言模型
Q
MaziyarPanahi
183.11k
6
Bielik 11B V2.3 Instruct GGUF
Apache-2.0
這是SpeakLeash開發的波蘭語大語言模型Bielik-11B-v2.3-Instruct的GGUF量化版本,適用於本地部署和使用。
大型語言模型 Transformers
B
speakleash
2,203
29
Yi Coder 1.5B Chat GGUF
Yi-Coder-1.5B-Chat-GGUF 是 01-ai/Yi-Coder-1.5B-Chat 的 GGUF 格式模型文件,適用於文本生成任務。
大型語言模型
Y
MaziyarPanahi
254.78k
10
Prem 1B SQL
Apache-2.0
Prem-1B-SQL是Prem AI開發的10億參數文本轉SQL模型,專為本地化部署設計,支持低配GPU和CPU設備運行。
大型語言模型 Safetensors 英語
P
premai-io
521
35
Mlx Stable Diffusion 3 Medium
其他
基於Stable Diffusion 3 Medium的MLX實現,專注於文本到圖像生成
圖像生成 英語
M
argmaxinc
238
2
Phi 3.5 Mini Instruct Uncensored GGUF
Apache-2.0
Phi-3.5-mini-instruct_Uncensored 是一個經過量化的語言模型,適用於多種硬件條件下的使用。
大型語言模型
P
bartowski
1,953
42
AIbase
智啟未來,您的人工智能解決方案智庫
© 2025AIbase