# llama.cpp兼容

Minicpm4 8B Q8 0 GGUF
Apache-2.0
MiniCPM4-8B-Q8_0-GGUF 是通過 llama.cpp 將 openbmb/MiniCPM4-8B 轉換為 GGUF 格式的模型,適用於本地推理。
大型語言模型 Transformers 支持多種語言
M
AyyYOO
160
2
Xlangai Jedi 3B 1080p GGUF
Apache-2.0
Jedi-3B-1080p是由xlangai開發的3B參數模型,經過llama.cpp量化處理,適用於圖像文本生成文本任務。
大型語言模型 英語
X
bartowski
148
1
Infly Inf O1 Pi0 GGUF
基於infly/inf-o1-pi0模型的量化版本,支持多語言文本生成任務,採用llama.cpp工具進行imatrix量化優化。
大型語言模型 支持多種語言
I
bartowski
301
1
Devstral Small Vision 2505 GGUF
Apache-2.0
基於Mistral Small模型的視覺編碼器,支持圖像文本生成任務,適配llama.cpp框架
圖像生成文本
D
ngxson
777
20
Qwen Qwen3 32B GGUF
Apache-2.0
基於Qwen/Qwen3-32B的量化版本,使用llama.cpp進行量化,支持多種量化類型,適用於不同硬件需求。
大型語言模型
Q
bartowski
49.13k
35
Qwen Qwen3 0.6B GGUF
Qwen團隊提供的Qwen3-0.6B的Llamacpp imatrix量化版本,使用llama.cpp進行量化,支持在LM Studio或基於llama.cpp的項目中運行。
大型語言模型
Q
bartowski
10.24k
14
Mistral Community Pixtral 12b GGUF
Apache-2.0
這是pixtral-12b模型的量化版本,使用llama.cpp進行量化,支持圖像文本到文本的任務。
M
bartowski
1,728
4
Orpheus TTS Turkish PT 5000 Q5 K M GGUF
MIT
這是一個土耳其語文本轉語音(TTS)模型,基於Orpheus架構,已轉換為GGUF格式以便在llama.cpp中使用。
語音合成 其他
O
Karayakar
45
0
Mistral Small 3.1 24b Instruct 2503 Gguf
Apache-2.0
Mistral Small 3.1 Instruct 24B的GGUF量化版本,適用於llama.cpp等應用,專注於文本生成任務。
大型語言模型
M
mrfakename
17.91k
18
Gemma 3 12b It Q6 K GGUF
這是Google Gemma 3B模型的GGUF量化版本,適用於本地部署和推理。
大型語言模型
G
NikolayKozloff
16
1
Rombo Org Rombo LLM V3.1 QWQ 32b GGUF
Apache-2.0
Rombo-LLM-V3.1-QWQ-32b是一個32B參數規模的大型語言模型,經過llama.cpp的imatrix量化處理,提供多種量化版本以適應不同硬件需求。
大型語言模型
R
bartowski
2,132
5
Meltemi 7B Instruct V1.5 GGUF
Apache-2.0
Meltemi-7B-Instruct-v1.5的GGUF格式模型文件,適用於希臘語和英語的文本生成任務。
大型語言模型 支持多種語言
M
tensorblock
146
1
Gguf Q8 0 Bge Reranker V2 M3
Apache-2.0
該模型是基於BAAI/bge-reranker-v2-m3轉換的GGUF格式版本,主要用於文本排序任務,支持多語言處理。
文本嵌入 其他
G
Felladrin
79
2
Llama3 8B 1.58 100B Tokens GGUF
基於Meta-Llama-3-8B-Instruct和HF1BitLLM/Llama3-8B-1.58-100B-tokens模型轉換的GGUF格式模型,適用於llama.cpp推理
大型語言模型 Transformers
L
brunopio
2,035
16
C4ai Command R 08 2024
這是一個基於CoForAI/c4ai-command-r-08-2024模型轉換的GGUF格式文本生成模型,支持多種語言。
大型語言模型 支持多種語言
C
KimChen
22
2
AIbase
智啟未來,您的人工智能解決方案智庫
© 2025AIbase