Gemma 3 4b Abliterated

🚀 Gemma 3 4B (テキスト専用版) モデルカード

このモデルは、google/gemma-3-4b-it のテキスト専用版で、Baukit を使用して作成されました。

gghf によってビジョンエンコーダーが削除されています。このモデルは性能が低下する可能性があることに注意してください。

📚 ドキュメント

モデルの説明

• オリジナルモデル：元の Gemma-3-4b-it は、Google がリリースしたマルチモーダルモデルで、テキストと画像の両方を処理できます。
• このバージョン：このバージョンは、テキスト専用の 1b モデルと同じアーキテクチャを使用するように変更されており、ビジョンコンポーネントが削除されています。
• パラメータ：40 億のパラメータ
• 変換プロセス：ビジョン関連のコンポーネントが削除され、テキスト生成機能が維持されています。

モデル情報

💻 使用例

基本的な使用法

from transformers import AutoTokenizer, BitsAndBytesConfig, Gemma3ForCausalLM
import torch

model_id = "gghfez/gemma-3-4b-novision"

quantization_config = BitsAndBytesConfig(load_in_8bit=True)

model = Gemma3ForCausalLM.from_pretrained(
    model_id, quantization_config=quantization_config
).eval()

tokenizer = AutoTokenizer.from_pretrained(model_id)

messages = [
    [
        {
            "role": "system",
            "content": [{"type": "text", "text": "You are a helpful assistant."},]
        },
        {
            "role": "user",
            "content": [{"type": "text", "text": "Write a poem on Hugging Face, the company"},]
        },
    ],
]
inputs = tokenizer.apply_chat_template(
    messages,
    add_generation_prompt=True,
    tokenize=True,
    return_dict=True,
    return_tensors="pt",
).to(model.device).to(torch.bfloat16)


with torch.inference_mode():
    outputs = model.generate(**inputs, max_new_tokens=64)

outputs = tokenizer.batch_decode(outputs)

注意事項

⚠️ 重要提示

このモデルはビジョンエンコーダーが削除されており、性能が低下する可能性があります。

📄 ライセンス このモデルは gemma ライセンスの下で提供されています。