Gemma 3 12b It Abliterated GGUF
这是从mlabonne/gemma-3-12b-it-abliterated转换而来的GGUF格式模型,适用于本地运行的大语言模型应用。
下载量 354
发布时间 : 3/31/2025
模型简介
该模型是基于Google的Gemma架构,经过量化处理,支持在本地设备上高效运行的大语言模型。
模型特点
多种量化选项
提供从Q2_K到F16的多种量化级别,满足不同硬件和性能需求。
本地运行支持
通过GGUF格式,可在各种本地设备和工具上高效运行。
平衡性能与质量
推荐量化方案在速度和质量之间取得良好平衡。
模型能力
文本生成
对话交互
知识问答
使用案例
本地AI应用
桌面AI助手
在个人电脑上运行的本地AI助手
提供隐私保护的对话体验
移动设备AI
在智能手机或平板电脑上运行的AI应用
离线可用的智能功能
开发与研究
模型实验
研究人员测试不同量化方案的效果
了解量化对模型性能的影响
精选推荐AI模型
Llama 3 Typhoon V1.5x 8b Instruct
专为泰语设计的80亿参数指令模型,性能媲美GPT-3.5-turbo,优化了应用场景、检索增强生成、受限生成和推理任务
大型语言模型
Transformers 支持多种语言

L
scb10x
3,269
16
Cadet Tiny
Openrail
Cadet-Tiny是一个基于SODA数据集训练的超小型对话模型,专为边缘设备推理设计,体积仅为Cosmo-3B模型的2%左右。
对话系统
Transformers 英语

C
ToddGoldfarb
2,691
6
Roberta Base Chinese Extractive Qa
基于RoBERTa架构的中文抽取式问答模型,适用于从给定文本中提取答案的任务。
问答系统 中文
R
uer
2,694
98