license: gemma library_name: transformers pipeline_tag: image-text-to-text extra_gated_heading: Hugging FaceでGemmaにアクセス extra_gated_prompt: Hugging FaceでGemmaにアクセスするには、Googleの利用規約を確認し同意する必要があります。これを行うには、Hugging Faceにログインしていることを確認し、以下をクリックしてください。リクエストは即時処理されます。 extra_gated_button_content: ライセンスを確認 base_model: google/gemma-3-12b-it

Gemma 3 12B 命令チューニング INT4

これはKaggleから提供されたQAT INT4 FlaxチェックポイントをGGUF形式に変換したもので、使いやすさを考慮しています。変換スクリプトはhttps://github.com/gau-nernst/gemma3-int4で確認できます。

注: これはhttps://huggingface.co/collections/google/gemma-3-qat-67ee61ccacbf2be4195c265bでリリースされた公式のQAT INT4 GGUFsとは異なります。

以下はhttps://huggingface.co/google/gemma-3-12b-itからのオリジナルのモデルカードです。

Gemma 3 モデルカード

モデルページ: Gemma

リソースと技術文書:

• Gemma 3 技術レポート
• 責任ある生成AIツールキット
• KaggleのGemma
• Vertex Model GardenのGemma

利用規約: 規約

著者: Google DeepMind

モデル情報

概要説明と入力・出力の簡単な定義。

説明

GemmaはGoogleが作成した軽量で最先端のオープンモデルファミリーで、Geminiモデルの作成に使用されたのと同じ研究と技術から構築されています。Gemma 3モデルはマルチモーダルで、テキストと画像の入力を処理しテキスト出力を生成し、事前学習バリアントと命令チューニングバリアントの両方でオープンウェイトを提供します。Gemma 3は大きな128Kのコンテキストウィンドウ、140以上の言語での多言語サポート、以前のバージョンよりも多くのサイズで利用可能です。Gemma 3モデルは、質問応答、要約、推論など、さまざまなテキスト生成と画像理解タスクに適しています。比較的小さなサイズにより、ラップトップ、デスクトップ、または独自のクラウドインフラストラクチャなど、リソースが限られた環境に展開することが可能で、最先端のAIモデルへのアクセスを民主化し、すべての人のためのイノベーションを促進するのに役立ちます。

入力と出力

• 入力:

  • 質問、プロンプト、要約されるドキュメントなどのテキスト文字列
  • 896 x 896解像度に正規化され、それぞれ256トークンにエンコードされた画像
  • 4B、12B、27Bサイズでは128Kトークン、1Bサイズでは32Kトークンの総入力コンテキスト

• 出力:

  • 入力に対する応答として生成されたテキスト。質問への回答、画像内容の分析、ドキュメントの要約など
  • 8192トークンの総出力コンテキスト

使用方法

以下は、モデルをすぐに実行するためのいくつかのコードスニペットです。まず、Transformersライブラリをインストールします。Gemma 3はtransformers 4.50.0以降でサポートされています。

$ pip install -U transformers

次に、ユースケースに関連するセクションからスニペットをコピーします。

pipeline APIでの実行

pipelineを使用してモデルとプロセッサを初期化し、推論を行うことができます。

from transformers import pipeline
import torch

pipe = pipeline(
    "image-text-to-text",
    model="google/gemma-3-12b-it",
    device="cuda",
    torch_dtype=torch.bfloat16
)

命令チューニングされたモデルでは、まずチャットテンプレートを使用して入力を処理する必要があります。その後、パイプラインに渡すことができます。

messages = [
    {
        "role": "system",
        "content": [{"type": "text", "text": "You are a helpful assistant."}]
    },
    {
        "role": "user",
        "content": [
            {"type": "image", "url": "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/p-blog/candy.JPG"},
            {"type": "text", "text": "What animal is on the candy?"}
        ]
    }
]

output = pipe(text=messages, max_new_tokens=200)
print(output[0]["generated_text"][-1]["content"])
# Okay, let's take a look! 
# Based on the image, the animal on the candy is a **turtle**. 
# You can see the shell shape and the head and legs.

シングル/マルチGPUでのモデル実行

# pip install accelerate

from transformers import AutoProcessor, Gemma3ForConditionalGeneration
from PIL import Image
import requests
import torch

model_id = "google/gemma-3-12b-it"

model = Gemma3ForConditionalGeneration.from_pretrained(
    model_id, device_map="auto"
).eval()

processor = AutoProcessor.from_pretrained(model_id)

messages = [
    {
        "role": "system",
        "content": [{"type": "text", "text": "You are a helpful assistant."}]
    },
    {
        "role": "user",
        "content": [
            {"type": "image", "image": "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/bee.jpg"},
            {"type": "text", "text": "Describe this image in detail."}
        ]
    }
]

inputs = processor.apply_chat_template(
    messages, add_generation_prompt=True, tokenize=True,
    return_dict=True, return_tensors="pt"
).to(model.device, dtype=torch.bfloat16)

input_len = inputs["input_ids"].shape[-1]

with torch.inference_mode():
    generation = model.generate(**inputs, max_new_tokens=100, do_sample=False)
    generation = generation[0][input_len:]

decoded = processor.decode(generation, skip_special_tokens=True)
print(decoded)

# **Overall Impression:** The image is a close-up shot of a vibrant garden scene, 
# focusing on a cluster of pink cosmos flowers and a busy bumblebee. 
# It has a slightly soft, natural feel, likely captured in daylight.

引用

@article{gemma_2025,
    title={Gemma 3},
    url={https://goo.gle/Gemma3Report},
    publisher={Kaggle},
    author={Gemma Team},
    year={2025}
}

モデルデータ

モデルトレーニングに使用されたデータとデータの処理方法。

トレーニングデータセット

これらのモデルは、さまざまなソースを含むテキストデータのデータセットでトレーニングされました。27Bモデルは14兆トークン、12Bモデルは12兆トークン、4Bモデルは4兆トークン、1Bモデルは2兆トークンでトレーニングされました。主なコンポーネントは次のとおりです:

• ウェブドキュメント: 多様なウェブテキストのコレクションにより、モデルは幅広い言語スタイル、トピック、語彙にさらされます。トレーニングデータセットには140以上の言語のコンテンツが含まれています。
• コード: モデルをコードにさらすことで、プログラミング言語の構文とパターンを学習し、コードを生成しコード関連の質問を理解する能力が向上します。
• 数学: 数学的なテキストでのトレーニングは、論理的推論、記号的表現、数学的クエリに対処する能力をモデルに学習させます。
• 画像: 幅広い画像により、モデルは画像分析と視覚的データ抽出タスクを実行できます。

これらの多様なデータソースの組み合わせは、さまざまなタスクとデータ形式を処理できる強力なマルチモーダルモデルをトレーニングするために重要です。

データ前処理

トレーニングデータに適用された主要なデータクリーニングとフィルタリング方法は次のとおりです:

• CSAMフィルタリング: 有害で違法なコンテンツを除外するために、データ準備プロセスの複数の段階で厳格なCSAM（児童性的虐待素材）フィルタリングが適用されました。
• 機密データフィルタリング: Gemma事前学習モデルを安全で信頼性の高いものにするために、トレーニングセットから特定の個人情報やその他の機密データをフィルタリングする自動技術が使用されました。
• 追加の方法: ポリシーに沿ったコンテンツ品質と安全性に基づくフィルタリング。

実装情報

モデルの内部に関する詳細。

ハードウェア

GemmaはTensor Processing Unit (TPU)ハードウェア（TPUv4p、TPUv5p、TPUv5e）を使用してトレーニングされました。視覚言語モデル（VLM）のトレーニングには多大な計算能力が必要です。機械学習で一般的な行列演算に特化して設計されたTPUは、この領域でいくつかの利点を提供します:

• パフォーマンス: TPUはVLMのトレーニングに関わる大規模な計算を処理するように特別に設計されています。CPUと比較してトレーニングを大幅に高速化できます。
• メモリ: TPUは多くの場合、大容量の高帯域幅メモリを備えており、トレーニング中に大規模なモデルとバッチサイズを処理できます。これによりモデル品質が向上します。
• スケーラビリティ: TPU Pod（大規模なTPUクラスター）は、大規模な基盤モデルの複雑さの増大に対処するためのスケーラブルなソリューションを提供します。複数のTPUデバイスにトレーニングを分散させ、より高速かつ効率的に処理できます。
• コスト効率: 多くのシナリオで、TPUはCPUベースのインフラストラクチャと比較して、特にトレーニング時間とリソースの節約を考慮すると、大規模モデルのトレーニングによりコスト効率の高いソリューションを提供できます。
• これらの利点はGoogleの持続可能な運用への取り組みと一致しています。

ソフトウェア

トレーニングはJAXとML Pathwaysを使用して行われました。

JAXにより、研究者はTPUを含む最新世代のハードウェアを利用して、大規模モデルのより高速で効率的なトレーニングを行うことができます。ML Pathwaysは、複数のタスクにわたって一般化できる人工知能システムを構築するためのGoogleの最新の取り組みです。これは、これらのような大規模言語モデルを含む基盤モデルに特に適しています。

JAXとML Pathwaysは、Geminiモデルファミリーに関する論文で説明されているように使用されます。「JaxとPathwaysの『シングルコントローラー』プログラミングモデルにより、単一のPythonプロセスでトレーニング実行全体を調整でき、開発ワークフローが大幅に簡素化されます。」

評価

モデル評価指標と結果。

ベンチマーク結果

これらのモデルは、テキスト生成のさまざまな側面をカバーするために、さまざまなデータセットと指標に対して評価されました。

推論と事実性

STEMとコード

多言語

マルチモーダル

倫理と安全性

倫理と安全性の評価アプローチと結果。

評価アプローチ

私たちの評価方法には、構造化された評価と関連するコンテンツポリシーの内部レッドチーミングテストが含まれます。レッドチーミングは、異なる目標と人間評価指標を持つさまざまなチームによって実施されました。これらのモデルは、倫理と安全性に関連する多くの異なるカテゴリに対して評価されました:

• 児童の安全: 児童性的虐待や搾取を含む児童安全ポリシーをカバーするテキストからテキストおよび画像からテキストへのプロンプトの評価。
• コンテンツの安全性: 嫌がらせ、暴力とゴア、ヘイトスピーチを含む安全ポリシーをカバーするテキストからテキストおよび画像からテキストへのプロンプトの評価。
• 表現的害: バイアス、ステレオタイプ、有害な関連付けや不正確さを含む安全ポリシーをカバーするテキストからテキストおよび画像からテキストへのプロンプトの評価。

開発レベルの評価に加えて、リリースに関する意思決定を通知するための「保証評価」を実施します。これらはモデル開発チームから独立して実施され、責任あるガバナンスの意思決定に役立ちます。高レベルの調査結果はモデルチームにフィードバックされますが、プロンプトセットは保持され、過剰適合を防ぎ、意思決定を通知する結果の能力を維持します。保証評価の結果は、リリースレビューの一環として責任と安全評議会に報告されます。

評価結果

すべての安全テスト領域において、児童の安全、コンテンツの安全、表現的害のカテゴリで、以前のGemmaモデルと比較して大幅な改善が見られました。すべてのテストは、モデルの能力と動作を評価するために安全フィルターなしで実施されました。テキストからテキストおよび画像からテキストの両方で、すべてのモデルサイズにおいて、モデルは最小限のポリシー違反を生成し、根拠のない推論に関して以前のGemmaモデルのパフォーマンスと比較して大幅な改善を示しました。評価の制限として、英語のプロンプトのみが含まれていました。

使用と制限

これらのモデルには、ユーザーが認識すべき特定の制限があります。

意図された使用

オープンな視覚言語モデル（VLM）は、さまざまな業界やドメインで幅広い用途があります。以下の潜在的な使用例のリストは包括的ではありません。このリストの目的は、モデル作成者がモデルのトレーニングと開発の一部として考慮した可能な使用例に関する文脈情報を提供することです。

• コンテンツ作成とコミュニケーション
  • テキスト生成: これらのモデルは、詩、スクリプト、コード、マーケティングコピー、メールの下書きなどの創造的なテキスト形式を生成するために使用できます。
  • チャットボットと会話型AI: カスタマーサービス、仮想アシスタント、またはインタラクティブアプリケーションのための会話型インターフェースを強化します。
  • テキスト要約: テキストコーパス、研究論文、またはレポートの簡潔な要約を生成します。
  • 画像データ抽出: これらのモデルは、テキスト通信のために視覚データを抽出、解釈、要約するために使用できます。
• 研究と教育
  • 自然言語処理（NLP）とVLM研究: これらのモデルは、研究者がVLMとNLP技術を実験し、アルゴリズムを開発し、分野の進歩に貢献するための基盤として機能します。
  • 言語学習ツール: 文法修正を支援したり、ライティング練習を提供したりするインタラクティブな言語学習体験をサポートします。
  • 知識探索: 特定のトピックに関する要約を生成したり、質問に答えたりすることで、研究者が大規模なテキストを探索するのを支援します。

制限

• トレーニングデータ
  • トレーニングデータの品質と多様性は、モデルの能力に大きく影響します。トレーニングデータのバイアスやギャップは、モデルの応答に制限をもたらす可能性があります。
  • トレーニングデータセットの範囲は、モデルが効果的に処理できる主題領域を決定します。
• コンテキストとタスクの複雑さ
  • モデルは、明確なプロンプトと指示でフレーム化できるタスクの方が優れています。オープンエンドまたは非常に複雑なタスクは難しいかもしれません。
  • モデルのパフォーマンスは、提供されるコンテキストの量によって影響を受ける可能性があります（長いコンテキストは、ある程度まで、より良い出力につながります）。
• 言語の曖昧さとニュアンス
  • 自然言語は本質的に複雑です。モデルは微妙なニュアンス、皮肉、比喩的な言語を理解するのに苦労する可能性があります。
• 事実の正確性
  • モデルはトレーニングデータセットから学んだ情報に基づいて応答を生成しますが、知識ベースではありません。不正確または時代遅れの事実を生成する可能性があります。
• 常識
  • モデルは言語の統計的パターンに依存しています。特定の状況で常識的な推論を適用する能力が欠けている可能性があります。

倫理的考慮事項とリスク

視覚言語モデル（VLM）の開発は、いくつかの倫理的懸念を引き起こします。オープンモデルを作成する際に、私たちは次の点を慎重に考慮しました:

• バイアスと公平性
  • 大規模な実世界のテキストと画像データでトレーニングされたVLMは、トレーニング素材に埋め込まれた社会文化的バイアスを反映する可能性があります。これらのモデルは慎重な審査を受け、このカードで説明されている入力データの前処理と事後の評価が報告されています。
• 誤情報と悪用
  • VLMは、虚偽、誤解を招く、または有害なテキストを生成するために悪用される可能性があります。
  • モデルの責任ある使用のためのガイドラインが提供されています。責任ある生成AIツールキットを参照してください。
• 透明性と説明責任:
  • このモデルカードは、モデルのアーキテクチャ、能力、制限、および評価プロセスに関する詳細を要約しています。
  • 責任を持って開発されたオープンモデルは、AIエコシステム全体の開発者と研究者にVLM技術をアクセス可能にすることで、イノベーションを共有する機会を提供します。

特定されたリスクと緩和策:

• バイアスの永続化: 評価指標、人間のレビューを使用した継続的な監視と、モデルのトレーニング、ファインチューニング、その他の使用ケースにおけるバイアス除去技術の探索が推奨されます。
• 有害なコンテンツの生成: コンテンツの安全性のためのメカニズムとガイドラインが不可欠です。開発者は、特定の製品ポリシーとアプリケーションの使用ケースに基づいて適切なコンテンツ安全対策を実施するよう注意を払うことが推奨されます。
• 悪意のある目的での悪用: 技術的な制限と開発者およびエンドユーザーの教育は、VLMの悪意のあるアプリケーションに対抗するのに役立ちます。教育リソースとユーザーが悪用を報告するためのメカニズムが提供されています。Gemmaモデルの禁止された使用は、Gemma禁止使用ポリシーで概説されています。
• プライバシー侵害: モデルは、特定の個人情報やその他の機密データを削除するためにフィルタリングされたデータでトレーニングされました。開発者は、プライバシー保護技術を使用してプライバシー規制に準拠することが推奨されます。

利点

リリース時点で、このモデルファミリーは、同様のサイズのモデルと比較して責任あるAI開発のために設計された高性能なオープン視覚言語モデルの実装を提供します。

このドキュメントで説明されているベンチマーク評価指標を使用して、これらのモデルは他の同サイズのオープンモデル代替品と比較して優れたパフォーマンスを提供することが示されています。