Gemma 3 12b Novision

🚀 Gemma-3-12b纯文本模型

该模型是google/gemma-3-12b-it的纯文本版本，从多模态的Gemma3ForConditionalGeneration架构转换为纯文本的Gemma3ForCausalLM架构，专注于文本生成任务。

🚀 快速开始

本模型可按照使用纯文本版google/gemma-3-1b-it的方式进行加载和使用。

💻 使用示例

基础用法

from transformers import AutoTokenizer, BitsAndBytesConfig, Gemma3ForCausalLM
import torch

model_id = "gghfez/gemma-3-12b-novision"

quantization_config = BitsAndBytesConfig(load_in_8bit=True)

model = Gemma3ForCausalLM.from_pretrained(
    model_id, quantization_config=quantization_config
).eval()

tokenizer = AutoTokenizer.from_pretrained(model_id)

messages = [
    [
        {
            "role": "system",
            "content": [{"type": "text", "text": "You are a helpful assistant."},]
        },
        {
            "role": "user",
            "content": [{"type": "text", "text": "Write a poem on Hugging Face, the company"},]
        },
    ],
]
inputs = tokenizer.apply_chat_template(
    messages,
    add_generation_prompt=True,
    tokenize=True,
    return_dict=True,
    return_tensors="pt",
).to(model.device).to(torch.bfloat16)


with torch.inference_mode():
    outputs = model.generate(**inputs, max_new_tokens=64)

outputs = tokenizer.batch_decode(outputs)

📚 详细文档

模型描述

• 原始模型：原始的Gemma-3-12b-it是谷歌发布的多模态模型，能够处理文本和图像。
• 当前版本：此版本经过修改，采用了与纯文本1b模型相同的架构，移除了视觉组件。
• 参数数量：40亿参数。
• 转换过程：在去除与视觉相关组件的同时，保留了文本生成能力。

模型信息

📄 许可证

本模型使用gemma许可证。