Baidu ERNIE 4.5 0.3B PT GGUF
Apache-2.0
基於百度ERNIE-4.5-0.3B-PT模型的量化版本,通過llama.cpp工具進行優化,減少模型大小並提升運行效率。
大型語言模型 支持多種語言
B
bartowski
314
3
Deepseek Ai DeepSeek R1 Distill Qwen 14B GGUF
DeepSeek-R1-Distill-Qwen-14B 是一個經過優化的14B參數規模的大語言模型,由DeepSeek AI發佈,基於Qwen架構蒸餾而來,提供多種GGUF量化版本以提升性能。
大型語言模型
D
featherless-ai-quants
237
1
Devstral Small 2505 3bit
Apache-2.0
這是一個基於mistralai/Devstral-Small-2505模型轉換的3位量化版本,適用於MLX框架,支持多語言文本生成任務。
大型語言模型 支持多種語言
D
mlx-community
121
1
Phi 4 Mini Reasoning
MIT
Phi-4-mini-reasoning 是一個輕量級的開源模型,專注於數學推理任務,支持128K令牌的上下文長度。
大型語言模型
Transformers

P
unsloth
591
2
GLM 4 9B 0414 GGUF
MIT
GLM-4-9B-0414是GLM家族中的輕量級成員,擁有90億參數,在數學推理和通用任務上表現出色,為資源受限場景提供了高效的解決方案。
大型語言模型 支持多種語言
G
unsloth
4,291
9
Qwen3 8B Q4 K M GGUF
Apache-2.0
這是Qwen3-8B模型的GGUF格式版本,適用於llama.cpp框架,支持文本生成任務。
大型語言模型
Transformers

Q
ufoym
342
3
Phi 4 Mini Instruct.gguf
MIT
Phi-4-mini-instruct 是一個輕量級開源模型,專注於高質量、富含推理的數據,支持128K token的上下文長度。
大型語言模型 其他
P
Mungert
13.08k
25
3b Zh Ft Research Release Q8 0 GGUF
Apache-2.0
本模型是基於canopylabs/3b-zh-ft-research_release轉換而來的GGUF格式模型,適用於中文文本生成任務。
大型語言模型 中文
3
cludyw
20
0
Google Gemma 3 1b It Qat GGUF
基於Google Gemma 3B QAT權重的多種量化版本,適用於本地推理部署
大型語言模型
G
bartowski
1,437
2
Google Gemma 3 12b It Qat GGUF
基於Google QAT(量化感知訓練)權重量化的Gemma-3-12b模型,提供多種量化版本以適應不同硬件需求。
大型語言模型
G
bartowski
10.78k
16
3b Ko Ft Research Release Q4 K M GGUF
Apache-2.0
這是一個基於韓語優化的3B參數規模的語言模型,轉換為GGUF格式以便與llama.cpp兼容使用。
大型語言模型 韓語
3
freddyaboulton
165
0
GLM 4 9B 0414
MIT
GLM-4-9B-0414是GLM家族中的輕量級成員,擁有90億參數規模,在數學推理和通用任務上展現出卓越能力,綜合表現在同規模開源模型中名列前茅。
大型語言模型
Transformers 支持多種語言

G
THUDM
6,856
55
Orpheus 3b 0.1 Ft Q8 0 GGUF
Apache-2.0
該模型是基於canopylabs/orpheus-3b-0.1-ft轉換而來的GGUF格式模型,適用於文本生成任務。
大型語言模型 英語
O
dodgeinmedia
22
0
Orpheus 3b 0.1 Ft Q2 K.gguf
Apache-2.0
該模型是基於canopylabs/orpheus-3b-0.1-ft轉換的GGUF格式模型,適用於文本生成任務。
大型語言模型 英語
O
athenasaurav
25
0
Orpheus 3b 0.1 Ft Q4 K M GGUF
Apache-2.0
該模型是基於canopylabs/orpheus-3b-0.1-ft轉換而來的GGUF格式模型,適用於文本生成任務。
大型語言模型 英語
O
athenasaurav
162
0
Deepseek V3 5layer
DeepSeek-V3的5層簡化開發版本,適用於輕量級任務和快速實驗。
大型語言模型
Transformers

D
chwan
30.01k
1
LBM Depth
基於潛在橋接匹配(LBM)技術的圖像深度估計模型,通過潛在空間橋接實現快速圖像轉換
3D視覺
Safetensors
L
jasperai
44
3
Orpheus 3b 0.1 Ft Q4 K M GGUF
Apache-2.0
Orpheus-3B-0.1-FT 的 GGUF 量化版本,適用於高效推理
大型語言模型 英語
O
freddyaboulton
30
1
Gemma 3 4b It GGUF
該模型是通過llama.cpp從google/gemma-3-4b-it轉換為GGUF格式的,適用於本地部署和推理。
大型語言模型
G
ysn-rfd
62
1
Orpheus 3b 0.1 Ft Q2 K GGUF
Apache-2.0
這是一個基於canopylabs/orpheus-3b-0.1-ft模型轉換而來的GGUF格式模型,適用於文本生成任務。
大型語言模型 英語
O
Zetaphor
67
1
Mistral Small 3.1 24b Instruct 2503 Hf GGUF
這是一個基於mrfakename/mistral-small-3.1-24b-instruct-2503-hf模型的GGUF格式量化版本,適用於文本生成任務。
大型語言模型
M
MaziyarPanahi
137.78k
2
Gemma 3 4b Pt Q4 0 GGUF
這是一個基於Google Gemma 3.4B參數模型轉換的GGUF格式模型,適用於文本生成任務。
大型語言模型
G
ngxson
74
1
Phi 4 Mini Instruct Abliterated
MIT
Phi-4-mini-instruct是基於合成數據和精選公開網站構建的輕量級開源模型,專注於高質量、強推理能力的數據。支持128K令牌上下文長度,通過監督微調和直接偏好優化進行增強,以確保精準的指令遵循和安全性。
大型語言模型
Transformers 支持多種語言

P
lunahr
250
8
Phi 4 Multimodal Instruct
MIT
Phi-4-multimodal-instruct是一款輕量級開源多模態基礎模型,融合了Phi-3.5和4.0模型的語言、視覺及語音研究數據。支持文本、圖像和音頻輸入,生成文本輸出,並具備128K token的上下文長度。
文本生成音頻
Transformers 支持多種語言

P
microsoft
584.02k
1,329
Phi 4 Mini Instruct
MIT
Phi-4-mini-instruct是一個輕量級開源模型,基於合成數據和過濾後的公開網站數據構建,專注於高質量、富含推理能力的數據。支持128K令牌的上下文長度和多語言處理。
大型語言模型
Transformers 支持多種語言

P
microsoft
346.30k
455
Mistral Small 24B Instruct 2501 GGUF
Mistral-Small-24B-Instruct-2501的GGUF量化版本,適用於本地部署和文本生成任務。
大型語言模型
M
MaziyarPanahi
474.73k
2
Selene 1 Mini Llama 3.1 8B Q6 K GGUF
基於AtlaAI/Selene-1-Mini-Llama-3.1-8B轉換的GGUF格式模型,適用於文本生成任務,支持多種歐洲語言。
大型語言模型 支持多種語言
S
NikolayKozloff
127
3
Llama 3.2 3B Instruct Abliterated GGUF
MIT
一個經過優化的量化模型,輸出和嵌入張量使用f16格式,其餘張量使用q5_k或q6_k格式,體積更小且性能與純f16相當。
大型語言模型 英語
L
ZeroWw
20
2
Gemma 2 Baku 2b It
基於Gemma 2 Baku 2B的指令微調模型,優化了指令遵循能力,適用於自然語言處理任務。
大型語言模型
Transformers 日語

G
rinna
2,555
27
Llama 3.2 1B Instruct Q8 0 GGUF
這是Meta發佈的Llama 3.2系列中的10億參數指令微調模型,已轉換為GGUF格式便於在llama.cpp中使用
大型語言模型 支持多種語言
L
hugging-quants
64.04k
31
T5 Large Q4 K M GGUF
Apache-2.0
本模型是google-t5/t5-large的GGUF格式轉換版本,支持摘要生成、翻譯等任務,適用於英語、法語、羅馬尼亞語、德語等多種語言。
大型語言模型 支持多種語言
T
tianlp
16
0
Phi 3.5 Mini Instruct Uncensored GGUF
Apache-2.0
Phi-3.5-mini-instruct_Uncensored 是一個經過量化的語言模型,適用於多種硬件條件下的使用。
大型語言模型
P
bartowski
1,953
42
Stable Diffusion V1 5 GGUF
Openrail
Stable Diffusion v1.5 是一個文本到圖像的生成模型,能夠根據文本描述生成高質量的圖像。
圖像生成
S
second-state
12.24k
11
Phi 3 Vision 128k Instruct
MIT
Phi-3-Vision-128K-Instruct是一個輕量級、前沿的開放多模態模型,支持128K令牌的上下文長度,專注於文本和視覺領域的高質量推理。
圖像生成文本
Transformers 其他

P
microsoft
25.19k
958
Phi 3 Small 8k Instruct
MIT
Phi-3-Small-8K-Instruct是一個70億參數的輕量級開源模型,專注於高質量推理能力,支持8K上下文長度,適用於英語環境下的商業和研究用途。
大型語言模型
Transformers 其他

P
microsoft
22.92k
165
Phi 3 Medium 4k Instruct
MIT
Phi-3-Medium-4K-Instruct是一個140億參數的輕量級開源模型,專注於高質量推理能力,支持4K上下文長度,適用於英語環境下的商業和研究用途。
大型語言模型
Transformers 其他

P
microsoft
43.60k
219
Vecteus V1 Gguf
Apache-2.0
Vecteus-v1的GGUF格式版本,支持英文和日文文本生成
大型語言模型 支持多種語言
V
Local-Novel-LLM-project
588
8
Llama 3 8B Instruct 32k V0.1 GGUF
Llama-3-8B-Instruct-32k-v0.1的GGUF量化版本,支持多種比特量化,適用於文本生成任務。
大型語言模型
L
MaziyarPanahi
226.09k
57
Phi 3 Mini 4k Instruct GGUF
MIT
Phi-3-Mini-4K-Instruct是一個38億參數的輕量級前沿開源模型,使用Phi-3數據集訓練而成,注重高質量和推理密集特性。
大型語言模型
P
brittlewis12
170
1
Phi 3 Mini 4k Instruct Gguf
MIT
Phi-3-Mini-4K-Instruct是一個擁有38億參數的輕量級、前沿開源模型,專注於高質量和推理密集的特性,適用於英語的商業和研究用途。
大型語言模型 支持多種語言
P
microsoft
20.51k
488
- 1
- 2
精選推薦AI模型
Llama 3 Typhoon V1.5x 8b Instruct
專為泰語設計的80億參數指令模型,性能媲美GPT-3.5-turbo,優化了應用場景、檢索增強生成、受限生成和推理任務
大型語言模型
Transformers 支持多種語言

L
scb10x
3,269
16
Cadet Tiny
Openrail
Cadet-Tiny是一個基於SODA數據集訓練的超小型對話模型,專為邊緣設備推理設計,體積僅為Cosmo-3B模型的2%左右。
對話系統
Transformers 英語

C
ToddGoldfarb
2,691
6
Roberta Base Chinese Extractive Qa
基於RoBERTa架構的中文抽取式問答模型,適用於從給定文本中提取答案的任務。
問答系統 中文
R
uer
2,694
98