# 4位量化

Llama3 1 Turkish ChatBot
MIT
基于Meta LLaMA 3.1 8B大语言模型微调的土耳其语教育问答聊天机器人,专为土耳其语教育场景优化。
大型语言模型 其他
L
metehanayhan
176
2
Qwen3 30B A3B Abliterated Fp4
Apache-2.0
这是Qwen3-30B-A3B-abliterated的4位量化模型,参数规模相当于8B,适合文本生成任务。
大型语言模型 Transformers
Q
huihui-ai
103
1
Deepseek R1 0528 Qwen3 8B MLX 4bit
MIT
由DeepSeek AI开发的大语言模型,经过4位量化优化,适用于苹果芯片设备。
大型语言模型
D
lmstudio-community
274.40k
1
Qwen3 30B A3B MNN
Apache-2.0
基于Qwen3-30B-A3B导出的MNN模型,经过4位量化后的版本,适用于高效推理。
大型语言模型 英语
Q
taobao-mnn
550
1
Qwen3 4B MNN
Apache-2.0
Qwen3-4B的MNN模型4位量化版本,用于高效文本生成任务
大型语言模型 英语
Q
taobao-mnn
10.60k
2
Internvl2 5 1B MNN
Apache-2.0
基于InternVL2_5-1B的4位量化版本,适用于文本生成和聊天场景
大型语言模型 英语
I
taobao-mnn
2,718
1
Gemma 3 27b It Qat 4bit
其他
Gemma 3 27B IT QAT 4bit 是一个基于 Google 原始模型转换而来的 MLX 格式模型,支持图像文本到文本的任务。
图像生成文本 Transformers 其他
G
mlx-community
2,200
12
Zhaav Gemma3 4B
基于Gemma 3架构微调的波斯语专用模型,使用QLoRA 4位量化技术,适合普通硬件运行。
大型语言模型 其他
Z
alifzl
40
1
Qwq 32B NF4
Apache-2.0
这是Qwen/QwQ-32B模型的4位量化版本,通过BitsAndBytes库进行优化,适用于资源受限环境下的文本生成任务。
大型语言模型 Transformers 英语
Q
ginipick
150
27
Qwq 32B Bnb 4bit
Apache-2.0
Qwen/QwQ-32B的4位量化版本,基于BitsAndBytes库实现,适用于资源受限环境下的文本生成任务。
大型语言模型 Transformers 英语
Q
fantos
115
4
Gemma 3 4b Persian V0 GGUF
Apache-2.0
这是 mshojaei77/gemma-3-4b-persian-v0 模型的静态量化版本,专门针对波斯语文本生成任务进行了优化。
大型语言模型 Transformers 其他
G
mradermacher
162
2
Gemma 3 27b It Quantized W4A16
Gemma 3是Google开发的指令调优大语言模型,本仓库提供其27B参数的W4A16量化版本,显著降低硬件需求
大型语言模型 Transformers
G
abhishekchohan
640
4
Gemma 3 4b Persian V0
Apache-2.0
基于Gemma 3架构的波斯语专用模型,采用QLoRA进行4位量化,专注于波斯语文本生成与理解
大型语言模型 其他
G
mshojaei77
542
9
Qwq 32B Bnb 4bit
Apache-2.0
QwQ-32B的4位量化版本,使用Bitsandbytes技术进行优化,适用于资源受限环境下的高效推理
大型语言模型 Transformers
Q
onekq-ai
167
2
Mistral Small 24B Instruct 2501 GPTQ G128 W4A16 MSE
Apache-2.0
这是mistralai/Mistral-Small-24B-Instruct-2501模型的4位量化版本,由ConfidentialMind.com量化,实现了更小、更快的模型,同时性能损失极小。
大型语言模型 英语
M
ConfidentialMind
93
1
Pixtral 12b Nf4
Apache-2.0
基于Mistral社区Pixtral-12B的4位量化版本,专注于图像文本到文本任务,支持中文描述生成
图像生成文本 Transformers
P
SeanScripts
236
20
Qwen2 Audio 7B Instruct 4bit
这是Qwen2-Audio-7B-Instruct的4位量化版本,基于阿里巴巴云原版Qwen模型开发,是一个音频-文本多模态大语言模型。
音频生成文本 Transformers
Q
alicekyting
1,090
6
Dorna Llama3 8B Instruct Quantized4Bit
Dorna-Llama3-8B-Instruct的4位量化版本,针对波斯语优化,集成Flash Attention 2技术提升推理效率
大型语言模型 Transformers 支持多种语言
D
amirMohammadi
22
11
Omost Dolphin 2.9 Llama3 8b 4bits
Omost发布的基于Llama3-8B的指令微调模型,采用Dolphin-2.9数据集预训练,并以4位NF4格式量化。
大型语言模型 Transformers
O
lllyasviel
106
6
Phi 3 Mini 4k Instruct Bnb 4bit
其他
Phi-3-mini-4k-instruct的4位量化版本,使用bitsandbytes工具进行量化,专为微调设计。
大型语言模型 Transformers
P
leliuga
1,541
4
Llama 3 8b Quantized
其他
Llama 3模型的4位量化版本,优化内存使用并加快推理速度,适用于计算资源有限的环境。
大型语言模型 Transformers 英语
L
SweatyCrayfish
2,037
11
Llama 3 8B Instruct GPTQ 4 Bit
其他
这是一个基于Meta Llama 3构建的4位量化GPTQ模型,由Astronomer量化,可在低VRAM设备上高效运行。
大型语言模型 Transformers
L
astronomer
2,059
25
Mosaicml Mpt 7b Chat Bnb 4bit Smashed
PrunaAI提供的压缩版MPT-7B-Chat模型,通过llm-int8技术优化,显著降低内存占用和能耗。
大型语言模型 Transformers 其他
M
PrunaAI
30
1
Cogvlm Grounding Generalist Hf Quant4
Apache-2.0
CogVLM是一款强大的开源视觉语言模型,支持目标检测和视觉问答等任务,采用4位精度量化。
图像生成文本 Transformers
C
Rodeszones
50
9
Internlm Xcomposer2 7b 4bit
其他
书生·浦语2是基于InternLM2的视觉语言大模型(VLLM),具备先进的图文理解与创作能力。
图像生成文本 Transformers
I
internlm
74
10
Meditron 7B AWQ
Meditron 7B是EPFL LLM Team开发的医疗领域大语言模型,基于Llama-2-7B继续预训练,专注于医疗知识编码和临床决策支持。
大型语言模型 Transformers 英语
M
TheBloke
38.22k
3
Mistral Ita 7b
Apache-2.0
基于Mistral-7B-v0.1专门优化的意大利语文本生成模型,支持高效推理和4位量化版本
大型语言模型 Transformers
M
DeepMount00
3,525
39
Llama 2 7b Int4 GPTQ Python Code 20k
Gpl-3.0
这是Llama 2 7B模型的4位GPTQ量化版本,专门针对Python代码生成任务进行了微调
大型语言模型 Transformers 其他
L
edumunozsala
22
1
Chronos 13b 4bit
其他
Chronos-13B的4位(int4)量化版本,专注于聊天、角色扮演和故事创作,支持长文本生成
大型语言模型 Transformers
C
elinas
43
22
Llava 13b V0 4bit 128g
LLaVA是一个结合视觉与语言的多模态模型,基于LLaMA架构,支持图像理解和对话生成。
文本生成图像 Transformers
L
wojtab
167
79
Pygmalion 6b 4bit 128g
Openrail
基于Pygmalion-6B的4位GPTQ量化模型,适用于对话生成任务,支持英文文本生成
大型语言模型 Transformers 英语
P
mayaeary
40
40
AIbase
智启未来,您的人工智能解决方案智库
© 2025AIbase