Gemma 3 4b Abliterated

🚀 Gemma 3 4B（純文本刪減版）模型卡片

這是 google/gemma-3-4b-it 的純文本刪減版本，使用 Baukit 創建。

視覺編碼器由 gghf 移除。請注意，此模型的性能可能會有所下降。

🚀 快速開始

你可以像使用純文本的 google/gemma-3-1b-it 版本一樣加載和使用此模型：

from transformers import AutoTokenizer, BitsAndBytesConfig, Gemma3ForCausalLM
import torch

model_id = "gghfez/gemma-3-4b-novision"

quantization_config = BitsAndBytesConfig(load_in_8bit=True)

model = Gemma3ForCausalLM.from_pretrained(
    model_id, quantization_config=quantization_config
).eval()

tokenizer = AutoTokenizer.from_pretrained(model_id)

messages = [
    [
        {
            "role": "system",
            "content": [{"type": "text", "text": "You are a helpful assistant."},]
        },
        {
            "role": "user",
            "content": [{"type": "text", "text": "Write a poem on Hugging Face, the company"},]
        },
    ],
]
inputs = tokenizer.apply_chat_template(
    messages,
    add_generation_prompt=True,
    tokenize=True,
    return_dict=True,
    return_tensors="pt",
).to(model.device).to(torch.bfloat16)


with torch.inference_mode():
    outputs = model.generate(**inputs, max_new_tokens=64)

outputs = tokenizer.batch_decode(outputs)

✨ 主要特性

• 原始模型：原始的 Gemma-3-4b-it 是谷歌發佈的多模態模型，可處理文本和圖像。
• 此版本：此版本經過修改，採用與純文本 1b 模型相同的架構，移除了視覺組件。
• 參數：擁有 40 億個參數。
• 轉換過程：在保留文本生成能力的同時，剝離了與視覺相關的組件。

📚 詳細文檔

📄 許可證

此模型使用 gemma 許可證。