# 高精度量化

Gama 12b GGUF
Gama-12B是一個多語言支持的大語言模型,提供多種量化版本以適應不同性能和精度需求。
大型語言模型 Transformers 支持多種語言
G
mradermacher
185
1
Acereason Nemotron 1.1 7B GGUF
其他
英偉達推出的高性能7B參數語言模型,專注於數學和代碼推理任務,支持128k上下文長度。
大型語言模型 支持多種語言
A
lmstudio-community
278
1
Delta Vector Austral 24B Winton GGUF
Apache-2.0
Delta-Vector的Austral-24B-Winton模型的量化版本,使用llama.cpp工具進行量化處理,適用於不同硬件配置的高效運行。
大型語言模型 英語
D
bartowski
421
1
Cognitivecomputations Qwen3 72B Embiggened GGUF
Apache-2.0
基於cognitivecomputations/Qwen3-72B-Embiggened模型的量化版本,使用llama.cpp進行量化處理,可在多種環境下高效運行。
大型語言模型
C
bartowski
826
1
Openbuddy OpenBuddy R1 0528 Distill Qwen3 32B Preview0 QAT GGUF
Apache-2.0
這是OpenBuddy-R1-0528-Distill-Qwen3-32B-Preview0-QAT的量化版本,藉助量化技術可以在不同硬件條件下更高效地運行模型。
大型語言模型 支持多種語言
O
bartowski
720
1
Infly Inf O1 Pi0 GGUF
基於infly/inf-o1-pi0模型的量化版本,支持多語言文本生成任務,採用llama.cpp工具進行imatrix量化優化。
大型語言模型 支持多種語言
I
bartowski
301
1
Allura Org Q3 30B A3B Designant GGUF
基於allura-org/Q3-30B-A3B-Designant的Llamacpp imatrix量化版本,適用於多種量化需求,支持角色扮演和對話式任務。
大型語言模型
A
bartowski
344
1
Pocketdoc Dans PersonalityEngine V1.3.0 12b GGUF
Apache-2.0
一個基於llama.cpp量化的12B參數多語言大語言模型,支持角色扮演、故事創作及多領域專業任務
大型語言模型
P
bartowski
1,027
3
Pocketdoc Dans PersonalityEngine V1.3.0 24b GGUF
Apache-2.0
一個多語言、多用途的大型語言模型,支持多種專業領域和通用任務,適用於角色扮演、故事創作、編程等多種場景。
大型語言模型
P
bartowski
2,543
4
Allura Org Q3 30b A3b Pentiment GGUF
Q3-30b-A3b-Pentiment 是一個基於 LLaMA 架構的大型語言模型,經過量化處理,適用於多種文本生成任務。
大型語言模型
A
bartowski
1,220
2
Qwen3 8B GGUF
Apache-2.0
Qwen3是通義千問系列最新一代大語言模型,提供稠密模型和混合專家(MoE)模型的完整套件。基於大規模訓練,Qwen3在推理能力、指令遵循、智能體功能和多語言支持方面實現了突破性進展。
大型語言模型 英語
Q
prithivMLmods
1,222
1
Qwen3 1.7B GGUF
Apache-2.0
Qwen3是通義千問系列大語言模型的最新版本,提供了一系列密集型和混合專家(MoE)模型。基於大規模訓練,Qwen3在推理、指令遵循、智能體能力和多語言支持方面實現了突破性進展。
大型語言模型 英語
Q
prithivMLmods
357
1
Primeintellect INTELLECT 2 GGUF
Apache-2.0
INTELLECT-2的量化版本,使用llama.cpp進行優化,支持多種量化類型以適應不同硬件需求。
大型語言模型
P
bartowski
6,268
4
Gryphe Pantheon Proto RP 1.8 30B A3B GGUF
Apache-2.0
這是一個基於Gryphe/Pantheon-Proto-RP-1.8-30B-A3B模型的量化版本,使用llama.cpp進行量化,適用於角色扮演和文本生成任務。
大型語言模型 英語
G
bartowski
2,972
6
Cognitivecomputations Dolphin Mistral 24B Venice Edition GGUF
Apache-2.0
Dolphin-Mistral-24B-Venice-Edition的Llamacpp imatrix量化版本,支持多種量化類型,適用於文本生成任務。
大型語言模型
C
bartowski
4,718
6
Qwen Qwen2.5 VL 72B Instruct GGUF
其他
Qwen2.5-VL-72B-Instruct的多模態大語言模型量化版本,支持圖像文本到文本任務,適用於多種量化級別,從高精度到低內存需求。
文本生成圖像 英語
Q
bartowski
1,336
1
Qwen Qwen2.5 VL 7B Instruct GGUF
Apache-2.0
Qwen2.5-VL-7B-Instruct的量化版本,使用llama.cpp進行量化,支持多模態任務,適用於圖文轉文本等應用場景。
文本生成圖像 英語
Q
bartowski
2,056
2
Nvidia OpenCodeReasoning Nemotron 32B IOI GGUF
Apache-2.0
這是NVIDIA OpenCodeReasoning-Nemotron-32B-IOI模型的量化版本,使用llama.cpp進行量化處理,適用於代碼推理任務。
大型語言模型 支持多種語言
N
bartowski
1,272
2
Nomic Ai Nomic Embed Code GGUF
Apache-2.0
這是nomic-ai/nomic-embed-code模型的量化版本,使用llama.cpp進行imatrix量化,適用於代碼嵌入和特徵提取任務。
文本嵌入
N
bartowski
2,109
3
Huihui Ai Qwen3 14B Abliterated GGUF
Apache-2.0
Qwen3-14B-abliterated是基於Qwen3-14B模型的量化版本,使用llama.cpp進行優化,提供多種量化選項以適應不同性能需求。
大型語言模型
H
bartowski
6,097
5
Goekdeniz Guelmez Josiefied Qwen3 8B Abliterated V1 GGUF
這是Qwen3-8B模型的量化版本,使用llama.cpp進行imatrix量化,適用於聊天場景。
大型語言模型
G
bartowski
7,520
12
Allura Org Remnant Glm4 32b GGUF
Apache-2.0
Remnant-GLM4-32B 是一個基於 GLM4 架構的 32B 參數大語言模型,支持角色扮演和對話式交互,特別適合蠑螈相關的應用場景。
大型語言模型
A
bartowski
2,198
2
Nomic Embed Code GGUF
Apache-2.0
Nomic代碼嵌入模型是一款頂尖的代碼檢索工具,支持多種編程語言,擅長代碼檢索任務。
文本嵌入
N
nomic-ai
1,300
4
Mlabonne Qwen3 14B Abliterated GGUF
這是Qwen3-14B-abliterated模型的量化版本,使用llama.cpp的imatrix選項進行量化,適用於文本生成任務。
大型語言模型
M
bartowski
18.67k
16
Qwen Qwen3 32B GGUF
Apache-2.0
基於Qwen/Qwen3-32B的量化版本,使用llama.cpp進行量化,支持多種量化類型,適用於不同硬件需求。
大型語言模型
Q
bartowski
49.13k
35
Qwen Qwen3 30B A3B GGUF
Apache-2.0
基於Qwen/Qwen3-30B-A3B的量化版本,使用llama.cpp進行多種精度量化,適用於文本生成任務。
大型語言模型
Q
bartowski
79.34k
49
Nvidia OpenMath Nemotron 14B Kaggle GGUF
這是NVIDIA開源的14B參數數學大語言模型,經過llama.cpp量化處理,可在不同硬件條件下高效運行。
大型語言模型 英語
N
bartowski
432
1
Mistral Small 24B Instruct 2501 GGUF
Apache-2.0
Mistral-Small-24B-Instruct-2501 是一個24B參數規模的指令微調大語言模型,支持多語言文本生成任務。
大型語言模型 支持多種語言
M
bartowski
48.61k
111
Pocketdoc Dans SakuraKaze V1.0.0 12b GGUF
Apache-2.0
基於PocketDoc/Dans-SakuraKaze-V1.0.0-12b的Llamacpp imatrix量化版本,支持多種量化類型,適用於文本生成任務。
大型語言模型 英語
P
bartowski
788
3
Llama 3.3 70B Instruct Abliterated GGUF
基於Llama 3.3架構的70B參數大語言模型,支持多語言文本生成任務,經過量化優化適用於不同硬件環境
大型語言模型 支持多種語言
L
bartowski
7,786
8
Glm 4 9b Chat Abliterated GGUF
其他
基於GLM-4架構的9B參數聊天模型,支持中英文對話,經過量化處理適用於不同硬件環境
大型語言模型 支持多種語言
G
bartowski
2,676
11
Zero Mistral 24B Gguf
MIT
Zero-Mistral-24B 是一個基於 Mistral 架構的大型語言模型,支持俄語和英語,適用於對話和文本生成任務。
大型語言模型 支持多種語言
Z
ZeroAgency
613
3
Google Gemma 3 27b It Qat GGUF
基於Google Gemma 3 270億參數指令調優模型的量化版本,採用量化感知訓練(QAT)權重生成,支持多種量化級別以適應不同硬件需求。
大型語言模型
G
bartowski
14.97k
31
Nvidia Llama 3 1 Nemotron Ultra 253B V1 GGUF
其他
這是NVIDIA Llama-3_1-Nemotron-Ultra-253B-v1模型的量化版本,使用llama.cpp進行量化,支持多種量化類型,適用於不同硬件環境。
大型語言模型 英語
N
bartowski
1,607
3
Gemma 3 27b Tools Q5 K M GGUF
該模型是基於Gemma-3-27b-tools轉換的GGUF格式版本,適用於本地推理任務。
大型語言模型
G
attashe
101
1
Qwen Qwen2.5 VL 32B Instruct GGUF
Apache-2.0
Qwen2.5-VL-32B-Instruct是一個32B參數規模的多模態視覺語言模型,支持圖像理解和文本生成任務。
文本生成圖像 英語
Q
bartowski
2,782
1
Gemma 3 R1984 27B Q6 K GGUF
基於VIDraft/Gemma-3-R1984-27B轉換的GGUF格式模型,支持多語言文本生成
大型語言模型 支持多種語言
G
GrimsenClory
28
1
Mlabonne Gemma 3 4b It Abliterated GGUF
這是一個基於mlabonne/gemma-3-4b-it-abliterated模型的量化版本,使用llama.cpp進行imatrix量化,適用於圖像文本到文本任務。
圖像生成文本
M
bartowski
9,164
8
Mlabonne Gemma 3 12b It Abliterated GGUF
基於mlabonne/gemma-3-12b-it-abliterated模型的量化版本,使用llama.cpp進行imatrix量化,適用於文本生成任務。
大型語言模型
M
bartowski
7,951
6
Mlabonne Gemma 3 27b It Abliterated GGUF
基於Google Gemma 3B模型的量化版本,使用llama.cpp進行優化,支持多種量化級別,適用於文本生成任務。
大型語言模型
M
bartowski
7,217
20
AIbase
智啟未來,您的人工智能解決方案智庫
© 2025AIbase