Gemma 3 27b It Abliterated Mlx Vlm 4Bit

🚀 aimeri/gemma-3-27b-it-abliterated-mlx-vlm-4Bit

该项目将模型转换为MLX格式，可用于图像文本到文本的处理，为多模态应用提供支持。

🚀 快速开始

该模型 aimeri/gemma-3-27b-it-abliterated-mlx-vlm-4Bit 是使用 mlx-vlm 版本 0.1.21 从 huihui-ai/gemma-3-27b-it-abliterated 转换为 MLX 格式的。

📦 安装指南

pip install mlx-vlm

💻 使用示例

基础用法

import mlx.core as mx
from mlx_vlm import load, generate
from mlx_vlm.prompt_utils import apply_chat_template
from mlx_vlm.utils import load_config

# Load the model
model_path = "aimeri/gemma-3-27b-it-abliterated-mlx-vlm-4Bit"
model, processor = load(model_path)
config = load_config(model_path)

# Prepare input
image = ["http://images.cocodataset.org/val2017/000000039769.jpg"]
prompt = "Describe this image."

# Apply chat template
formatted_prompt = apply_chat_template(
    processor, config, prompt, num_images=len(image)
)

# Generate output
output = generate(model, processor, formatted_prompt, image, verbose=False)
print(output)

📄 许可证

本项目使用的许可证为 gemma。若要在 Hugging Face 上访问 Gemma，你需要查看并同意 Google 的使用许可。请确保你已登录 Hugging Face 并点击下方按钮，请求将立即处理。点击按钮即表示你确认接受许可。