AIbase
ZH
模型选型
标签
量化推理优化

# 量化推理优化

Mistral Anime Ai
Apache-2.0
基于Mistral模型的动漫角色聊天机器人，以《帮助狐仙大人》中的Senko为蓝本，提供情感支持和温暖对话体验
大型语言模型 Safetensors 英语
M
senko-sleepy-fox
152
1
Openbuddy Qwq 32b V25.2q 200k
Apache-2.0
专为增强量化推理能力优化的多语言聊天机器人，支持8种语言，基于Qwen/QwQ-32B模型开发
大型语言模型 支持多种语言
O
OpenBuddy
41
3
Gemma 3 4b It Gguf
Gemma 3是谷歌推出的轻量级开源多模态模型，支持图像和文本输入，生成文本输出。
图像生成文本
G
Mungert
4,593
9
Gemma 3 4b It Q8 0 GGUF
这是Google Gemma 3B模型的GGUF量化版本，适用于本地部署和推理。
大型语言模型
G
NikolayKozloff
56
2
Deepseek R1 ReDistill Qwen 7B V1.1 Q8 0 GGUF
MIT
该模型是基于DeepSeek-R1-ReDistill-Qwen-7B-v1.1转换的GGUF格式模型，适用于文本生成任务。
大型语言模型
D
NikolayKozloff
44
2
Llama 3.2 1B Instruct Q4 K M GGUF
这是一个基于Meta Llama-3.2-1B-Instruct模型转换的GGUF格式量化版本，适用于本地推理场景。
大型语言模型 支持多种语言
L
hugging-quants
24.70k
16
Mythomax L2 13b Q4 K M GGUF
其他
MythoMax L2 13b是一个基于Q4_K_M量化版本的大语言模型，适用于文本生成任务。
大型语言模型 英语
M
Clevyby
1,716
2
34b Beta
Gpl-3.0
一个34B参数规模的大型语言模型β测试版，采用chatml提示词格式，当前版本存在精度问题需注意使用限制
大型语言模型 Transformers
3
CausalLM
77
63
AIbase
智启未来，您的人工智能解决方案智库
English简体中文繁體中文にほんご
© 2025AIbase