Gemma 3 4b Novision

🚀 Gemma-3-4b純テキストモデル

このモデルは google/gemma-3-4b-it の純テキストバージョンです。多モーダルなGemma3ForConditionalGenerationアーキテクチャから純テキストのGemma3ForCausalLMアーキテクチャに変換されています。

🚀 クイックスタート

このモデルは、多モーダルなGemma-3-4b-itを純テキストモデルに変換したもので、テキスト生成タスクに特化しています。

✨ 主な機能

• オリジナルモデル：元のGemma-3-4b-itはGoogleが公開した多モーダルモデルで、テキストと画像を処理できます。
• 現在のバージョン：このバージョンは修正され、純テキスト1bモデルと同じアーキテクチャを採用し、ビジュアルコンポーネントが削除されています。
• パラメータ数：40億個のパラメータを持っています。
• 変換プロセス：ビジュアル関連のコンポーネントを削除しながら、テキスト生成能力を維持しています。

📦 インストール

ドキュメントで具体的なインストール手順が提供されていません。関連する依存ライブラリのインストール説明を参照してください。

💻 使用例

基本的な使用法

from transformers import AutoTokenizer, BitsAndBytesConfig, Gemma3ForCausalLM
import torch

model_id = "gghfez/gemma-3-4b-novision"

quantization_config = BitsAndBytesConfig(load_in_8bit=True)

model = Gemma3ForCausalLM.from_pretrained(
    model_id, quantization_config=quantization_config
).eval()

tokenizer = AutoTokenizer.from_pretrained(model_id)

messages = [
    [
        {
            "role": "system",
            "content": [{"type": "text", "text": "You are a helpful assistant."},]
        },
        {
            "role": "user",
            "content": [{"type": "text", "text": "Write a poem on Hugging Face, the company"},]
        },
    ],
]
inputs = tokenizer.apply_chat_template(
    messages,
    add_generation_prompt=True,
    tokenize=True,
    return_dict=True,
    return_tensors="pt",
).to(model.device).to(torch.bfloat16)


with torch.inference_mode():
    outputs = model.generate(**inputs, max_new_tokens=64)

outputs = tokenizer.batch_decode(outputs)

📚 ドキュメント

モデル情報