gemma-3-4b-it-abliterated-GGUF开源模型 - 免费本地运行与推理

Gemma 3 4b It Abliterated GGUF

由 matrixportal 开发

该模型是基于mlabonne/gemma-3-4b-it-abliterated转换的GGUF格式版本，适用于本地运行和推理。

下载量 245

发布时间 : 3/31/2025

模型简介

这是一个基于Gemma架构的3.4B参数模型，经过量化处理转换为GGUF格式，适合在本地设备上运行。

多种量化版本

提供从Q2_K到F16的多种量化版本，满足不同硬件和性能需求。

本地运行支持

通过GGUF格式，可以在本地设备上高效运行，无需依赖云端服务。

平衡性能与质量

推荐量化版本（如Q4_K_M）在速度和质量之间取得良好平衡。

文本生成

图像文本理解

本地推理

本地AI应用

离线聊天助手

在无网络环境下运行聊天助手，提供文本生成和对话功能。

图像描述生成

根据输入的图像文本生成详细的描述或回答相关问题。

开发与研究

模型量化研究

研究不同量化级别对模型性能和效果的影响。

该模型是使用llama.cpp通过ggml.ai的all-gguf-same-where空间，从mlabonne/gemma-3-4b-it-abliterated转换为GGUF格式的。如需了解该模型的更多详细信息，请参考原始模型卡片。

属性	详情
基础模型	mlabonne/gemma-3-4b-it-abliterated
库名称	transformers
许可证	gemma
任务类型	图像文本到文本
标签	llama-cpp、matrixportal

💡 使用建议

当质量至关重要时，使用F16以获得最高精度。

应用程序	描述	下载链接
Llama.cpp	一个快速高效的GGUF模型推理引擎。	GitHub仓库
Ollama	一个用于本地运行大语言模型的简化解决方案。	官网
AnythingLLM	一个由人工智能驱动的知识管理工具。	GitHub仓库
Open WebUI	一个用于运行本地大语言模型的用户友好型Web界面。	GitHub仓库
GPT4All	一个支持各种大语言模型的用户友好型桌面应用程序，与GGUF模型兼容。	GitHub仓库
LM Studio	一个用于运行和管理本地大语言模型的桌面应用程序，支持GGUF格式。	官网
GPT4All Chat	一个与GGUF模型兼容的聊天应用程序，用于本地离线交互。	GitHub仓库

应用程序	描述	下载链接
ChatterUI	一个简单轻量级的移动大语言模型应用程序。	GitHub仓库
Maid	用于在移动设备上运行人工智能模型的移动人工智能分发平台。	GitHub仓库
PocketPal AI	一个由本地模型驱动的移动人工智能助手。	GitHub仓库
Layla	一个用于在移动设备上运行各种人工智能模型的灵活平台。	官网

应用程序	描述	下载链接
Stable Diffusion	一个用于从文本生成图像的开源人工智能模型。	GitHub仓库
Stable Diffusion WebUI	一个通过浏览器界面访问Stable Diffusion模型的Web应用程序。	GitHub仓库
Local Dream	支持骁龙NPU加速的安卓版Stable Diffusion，也支持CPU推理。	GitHub仓库
Stable-Diffusion-Android (SDAI)	一个用于安卓设备的开源人工智能艺术应用程序，可实现数字艺术创作。	GitHub仓库