gemma-3-4b-it-abliterated-GGUF開源模型 - 免費本地運行與推理

Gemma 3 4b It Abliterated GGUF

由matrixportal開發

該模型是基於mlabonne/gemma-3-4b-it-abliterated轉換的GGUF格式版本，適用於本地運行和推理。

下載量 245

發布時間 : 3/31/2025

模型概述

這是一個基於Gemma架構的3.4B參數模型，經過量化處理轉換為GGUF格式，適合在本地設備上運行。

多種量化版本

提供從Q2_K到F16的多種量化版本，滿足不同硬件和性能需求。

本地運行支持

通過GGUF格式，可以在本地設備上高效運行，無需依賴雲端服務。

平衡性能與質量

推薦量化版本（如Q4_K_M）在速度和質量之間取得良好平衡。

文本生成

圖像文本理解

本地推理

本地AI應用

離線聊天助手

在無網絡環境下運行聊天助手，提供文本生成和對話功能。

圖像描述生成

根據輸入的圖像文本生成詳細的描述或回答相關問題。

開發與研究

模型量化研究

研究不同量化級別對模型性能和效果的影響。

該模型是使用llama.cpp通過ggml.ai的all-gguf-same-where空間，從mlabonne/gemma-3-4b-it-abliterated轉換為GGUF格式的。如需瞭解該模型的更多詳細信息，請參考原始模型卡片。

屬性	詳情
基礎模型	mlabonne/gemma-3-4b-it-abliterated
庫名稱	transformers
許可證	gemma
任務類型	圖像文本到文本
標籤	llama-cpp、matrixportal

💡 使用建議

當質量至關重要時，使用F16以獲得最高精度。

應用程序	描述	下載鏈接
Llama.cpp	一個快速高效的GGUF模型推理引擎。	GitHub倉庫
Ollama	一個用於本地運行大語言模型的簡化解決方案。	官網
AnythingLLM	一個由人工智能驅動的知識管理工具。	GitHub倉庫
Open WebUI	一個用於運行本地大語言模型的用戶友好型Web界面。	GitHub倉庫
GPT4All	一個支持各種大語言模型的用戶友好型桌面應用程序，與GGUF模型兼容。	GitHub倉庫
LM Studio	一個用於運行和管理本地大語言模型的桌面應用程序，支持GGUF格式。	官網
GPT4All Chat	一個與GGUF模型兼容的聊天應用程序，用於本地離線交互。	GitHub倉庫

應用程序	描述	下載鏈接
ChatterUI	一個簡單輕量級的移動大語言模型應用程序。	GitHub倉庫
Maid	用於在移動設備上運行人工智能模型的移動人工智能分發平臺。	GitHub倉庫
PocketPal AI	一個由本地模型驅動的移動人工智能助手。	GitHub倉庫
Layla	一個用於在移動設備上運行各種人工智能模型的靈活平臺。	官網

應用程序	描述	下載鏈接
Stable Diffusion	一個用於從文本生成圖像的開源人工智能模型。	GitHub倉庫
Stable Diffusion WebUI	一個通過瀏覽器界面訪問Stable Diffusion模型的Web應用程序。	GitHub倉庫
Local Dream	支持驍龍NPU加速的安卓版Stable Diffusion，也支持CPU推理。	GitHub倉庫
Stable-Diffusion-Android (SDAI)	一個用於安卓設備的開源人工智能藝術應用程序，可實現數字藝術創作。	GitHub倉庫