Gemma 3 12b Novision

🚀 Gemma-3-12b テキスト専用モデル

このモデルは、google/gemma-3-12b-it のテキスト専用バージョンです。マルチモーダルな Gemma3ForConditionalGeneration アーキテクチャから、テキスト専用の Gemma3ForCausalLM アーキテクチャに変換されています。

✨ 主な機能

• ベースモデル：google/gemma-3-12b-it
• ライセンス：gemma
• パイプラインタグ：テキスト生成
• ライブラリ名：transformers

📚 ドキュメント

モデルの説明

• オリジナルモデル：オリジナルの Gemma-3-12b-it は、Google によってリリースされたマルチモーダルモデルで、テキストと画像の両方を処理できます。
• このバージョン：このバージョンは、テキスト専用の 1b モデルと同じアーキテクチャを使用するように変更されており、ビジョンコンポーネントが削除されています。
• パラメータ数：40億個のパラメータ
• 変換プロセス：テキスト生成機能を維持しながら、ビジョン関連のコンポーネントが取り除かれました。

💻 使用例

基本的な使用法

from transformers import AutoTokenizer, BitsAndBytesConfig, Gemma3ForCausalLM
import torch

model_id = "gghfez/gemma-3-12b-novision"

quantization_config = BitsAndBytesConfig(load_in_8bit=True)

model = Gemma3ForCausalLM.from_pretrained(
    model_id, quantization_config=quantization_config
).eval()

tokenizer = AutoTokenizer.from_pretrained(model_id)

messages = [
    [
        {
            "role": "system",
            "content": [{"type": "text", "text": "You are a helpful assistant."},]
        },
        {
            "role": "user",
            "content": [{"type": "text", "text": "Write a poem on Hugging Face, the company"},]
        },
    ],
]
inputs = tokenizer.apply_chat_template(
    messages,
    add_generation_prompt=True,
    tokenize=True,
    return_dict=True,
    return_tensors="pt",
).to(model.device).to(torch.bfloat16)


with torch.inference_mode():
    outputs = model.generate(**inputs, max_new_tokens=64)

outputs = tokenizer.batch_decode(outputs)