# 多比特量化

INTELLECT 2 GGUF
INTELLECT-2-GGUF 是 PrimeIntellect/INTELLECT-2 的 GGUF 格式量化版本,適用於文本生成任務。
大型語言模型
I
MaziyarPanahi
88
1
Dia GGUF
MIT
Dia 1.6B 是一個適用於文本轉語音任務的模型,支持多種量化版本,兼容TTS.cpp框架。
語音合成
D
mmwillet2
156
4
Qwen3 30B A3B GGUF
Qwen3-30B-A3B的GGUF量化版本,支持多種比特量化,適用於文本生成任務。
大型語言模型
Q
MaziyarPanahi
158.92k
3
Qwen3 0.6B GGUF
Qwen3-0.6B的GGUF量化版本,適用於文本生成任務。
大型語言模型
Q
MaziyarPanahi
233.95k
2
Mistral Small 3.1 24b Instruct 2503 Hf GGUF
這是一個基於mrfakename/mistral-small-3.1-24b-instruct-2503-hf模型的GGUF格式量化版本,適用於文本生成任務。
大型語言模型
M
MaziyarPanahi
137.78k
2
Gemma 3 27b It GGUF
Gemma 3 27B 指令調優模型的 GGUF 量化版本,適用於文本生成任務。
大型語言模型
G
MaziyarPanahi
475.91k
4
Gemma 3 4b It GGUF
Gemma 3B 模型的 GGUF 量化版本,適用於本地文本生成任務
大型語言模型
G
MaziyarPanahi
358.91k
6
Llama 3.1 8B RainbowLight EtherealMix GGUF
這是一個基於Llama-3.1-8B-RainbowLight-EtherealMix模型的GGUF格式量化版本,便於進行文本生成相關的應用開發。
大型語言模型
L
MaziyarPanahi
101
1
Mistral Small 24B Instruct 2501 GGUF
Mistral-Small-24B-Instruct-2501的GGUF量化版本,適用於本地部署和文本生成任務。
大型語言模型
M
MaziyarPanahi
474.73k
2
Llama 3.2 3B Instruct Abliterated GGUF
Llama-3.2-3B-Instruct-abliterated的GGUF格式量化版本,支持多種比特量化選項,適用於文本生成任務。
大型語言模型
L
MaziyarPanahi
181
2
Llama 3.2 3B Instruct GGUF
Llama-3.2-3B-Instruct 模型的 GGUF 格式文件,方便用戶進行文本生成任務。
大型語言模型
L
MaziyarPanahi
203.56k
13
Yi Coder 1.5B Chat GGUF
Yi-Coder-1.5B-Chat-GGUF 是 01-ai/Yi-Coder-1.5B-Chat 的 GGUF 格式模型文件,適用於文本生成任務。
大型語言模型
Y
MaziyarPanahi
254.78k
10
Phi 3.5 Mini Instruct GGUF
Phi-3.5-mini-instruct的GGUF格式模型文件,適用於文本生成任務。
大型語言模型
P
MaziyarPanahi
335.88k
13
Mistral Nemo Instruct 2407 GGUF
Mistral-Nemo-Instruct-2407-GGUF 是 mistralai/Mistral-Nemo-Instruct-2407 的 GGUF 格式量化版本,支持多種量化位數(2-bit 至 8-bit),適用於文本生成任務。
大型語言模型
M
MaziyarPanahi
441.17k
44
Mistral 7B Instruct V0.3 GGUF
Apache-2.0
Mistral-7B-Instruct-v0.3的GGUF量化版本,適用於本地推理的文本生成模型
大型語言模型
M
MaziyarPanahi
253.99k
93
Llama 3 8B Instruct 64k GGUF
Llama-3-8B-Instruct-64k的GGUF量化版本,支持多種比特量化,適用於文本生成任務。
大型語言模型
L
MaziyarPanahi
201.57k
13
Llama 3 8B Instruct 32k V0.1 GGUF
Llama-3-8B-Instruct-32k-v0.1的GGUF量化版本,支持多種比特量化,適用於文本生成任務。
大型語言模型
L
MaziyarPanahi
226.09k
57
Llama 3 Smaug 8B GGUF
基於abacusai/Llama-3-Smaug-8B的GGUF格式量化模型,支持2-8比特量化級別,適用於文本生成任務
大型語言模型
L
MaziyarPanahi
8,904
5
Zephyr Orpo 141b A35b V0.1 GGUF
Apache-2.0
基於Mixtral-8x22B-v0.1微調的1410億參數混合專家模型(MoE),激活參數350億,主要用於英語文本生成任務
大型語言模型 英語
Z
MaziyarPanahi
10.04k
29
Saul Instruct V1 GGUF
MIT
Saul-Instruct-v1-GGUF 是 Equall/Saul-Instruct-v1 模型的 GGUF 格式版本,適用於文本生成任務,支持多種量化級別。
大型語言模型 英語
S
MaziyarPanahi
456
8
Phi 2 Super GGUF
MIT
phi-2-super-GGUF 是 abacaj/phi-2-super 模型的 GGUF 量化版本,適用於本地運行和文本生成任務。
大型語言模型 Transformers
P
MaziyarPanahi
158
5
Gemma 2b It GGUF
其他
Gemma 2B模型的GGUF量化版本,適用於本地部署和推理
大型語言模型
G
MaziyarPanahi
517
10
Rank Zephyr 7b V1 Full GGUF
MIT
基於 Mistral-7B 的文本排序模型,提供多種量化版本,適用於高效推理。
大型語言模型 英語
R
MaziyarPanahi
708
5
Sauerkrautlm 7b HerO Mistral 7B Instruct V0.1 GGUF
Apache-2.0
這是一個基於Mistral-7B-Instruct-v0.1微調的德語/英語雙語模型,採用GGUF格式量化,支持2-8比特多種量化級別。
大型語言模型 支持多種語言
S
MaziyarPanahi
90
2
AIbase
智啟未來,您的人工智能解決方案智庫
© 2025AIbase