AIbase
ZH
模型选型
标签
量化模型

# 量化模型

Verireason Qwen2.5 1.5B Grpo Small GGUF
这是Nellyw888/VeriReason-Qwen2.5-1.5B-grpo-small模型的静态量化版本，专注于Verilog代码生成和推理任务。
大型语言模型 英语
V
mradermacher
48
1
Chat Model
MIT
基于LLaMA架构微调的多语言对话模型，支持阿拉伯语和英语，针对对话任务优化并提供高质量回复。
大型语言模型 PyTorch
C
gamer-to
353
1
Ritrieve Zh V1 GGUF
MIT
本项目提供了对 richinfoai/ritrieve_zh_v1 模型的静态量化版本，通过量化处理减少存储空间和计算资源需求，同时保持一定性能。
大型语言模型 Transformers 中文
R
mradermacher
212
1
Google.gemma 3 4b It Qat Int4 Unquantized GGUF
基于Gemma 3 4B的量化版本图像文本转文本模型，旨在让知识为大众所用
图像生成文本
G
DevQuasar
161
1
Gemma 2 2b Jpn It Translate GGUF
基于webbigdata/gemma-2-2b-jpn-it-translate的静态量化模型，支持日语和英语之间的翻译任务。
机器翻译 支持多种语言
G
mradermacher
164
1
Qwen2.5 14B Instruct GGUF
Apache-2.0
Qwen2.5-14B-Instruct 是一个基于 Qwen2.5-14B 的指令微调模型，支持文本生成任务，适用于聊天和问答场景。
大型语言模型 英语
Q
Mungert
1,924
6
Deepseek R1 Medical COT GGUF
Apache-2.0
DeepSeek-R1-Medical-COT 是一个专注于医学领域的思维链推理模型，提供多种量化版本以适应不同硬件需求。
大型语言模型 英语
D
tensorblock
180
1
Sanskrit Qwen 7B Translate GGUF
Apache-2.0
这是一个基于Qwen架构的7B参数模型，专门用于梵语翻译任务，提供了多种量化版本。
机器翻译 英语
S
mradermacher
1,618
4
Hacker News Comments Summarization Llama 3.1 8B Instruct I1 GGUF
这是一个基于Llama-3.1架构的8B参数模型，专门用于生成Hacker News评论的摘要。
大型语言模型 英语
H
mradermacher
2,154
0
Llama 3.2 3B Instruct Abliterated GGUF
Llama-3.2-3B-Instruct-abliterated的GGUF格式量化版本，支持多种比特量化选项，适用于文本生成任务。
大型语言模型
L
MaziyarPanahi
181
2
Phi 3.5 Mini Instruct GGUF
Phi-3.5-mini-instruct的GGUF格式模型文件，适用于文本生成任务。
大型语言模型
P
MaziyarPanahi
335.88k
13
Saiga Llama3 8b Gguf
其他
基于Llama3 8B模型的俄语优化版本，支持文本生成任务
大型语言模型 其他
S
IlyaGusev
1,008
79
Whisperkit Coreml
WhisperKit 是一款面向 Apple Silicon 的本地语音识别框架，支持高效的自动语音识别任务。
语音识别 其他
W
argmaxinc
296.02k
126
Sqlcoder 7b 2 GGUF
这是defog/sqlcoder-7b-2模型的GGUF格式量化版本，主要用于SQL代码生成任务。
大型语言模型
S
MaziyarPanahi
346
10
Saiga Mistral 7b Gguf
Apache-2.0
基于Mistral架构的7B参数俄语大语言模型，支持文本生成任务
大型语言模型 其他
S
IlyaGusev
1,042
87
AIbase
智启未来，您的人工智能解决方案智库
English简体中文繁體中文にほんご
© 2025AIbase