Gemma 3 12b It Qat Int4

🚀 Gemma 3モデルカード

Gemma 3は、Googleによる軽量で最先端のオープンモデルです。このモデルは、Geminiモデルを作成するために使用された同じ研究と技術を基に構築されており、テキストと画像の入力を扱い、テキスト出力を生成するマルチモーダルな能力を備えています。

🚀 クイックスタート

モデルページ: Gemma

⚠️ 重要提示

このリポジトリは、Quantization Aware Training (QAT)を使用したGemma 3モデルの12B 命令調整済み バージョンに対応しています。

このリポジトリのチェックポイントは量子化されていないため、お好みのツールでQ4_0で量子化することを確認してください

QATにより、モデルはbfloat16と同様の品質を維持しながら、モデルをロードするためのメモリ要件を大幅に削減することができます。

リソースと技術ドキュメント:

• [Gemma 3 Technical Report][g3-tech-report]
• [Responsible Generative AI Toolkit][rai-toolkit]
• [Gemma on Kaggle][kaggle-gemma]
• [Gemma on Vertex Model Garden][vertex-mg-gemma3]

利用規約: [Terms][terms]

作者: Google DeepMind

✨ 主な機能

モデル情報

説明

Gemmaは、Googleによる軽量で最先端のオープンモデルのファミリーです。これらのモデルは、Geminiモデルを作成するために使用された同じ研究と技術を基に構築されています。Gemma 3モデルはマルチモーダルで、テキストと画像の入力を扱い、テキスト出力を生成します。事前学習バリアントと命令調整済みバリアントの両方のウェイトが公開されています。Gemma 3は、128Kの大きなコンテキストウィンドウを持ち、140以上の言語をサポートし、以前のバージョンよりも多くのサイズで利用可能です。Gemma 3モデルは、質問応答、要約、推論など、さまざまなテキスト生成と画像理解タスクに適しています。比較的小さなサイズのため、ラップトップ、デスクトップ、または独自のクラウドインフラストラクチャなど、リソースが限られた環境でもデプロイすることが可能です。

入力と出力

引用

@article{gemma_2025,
    title={Gemma 3},
    url={https://goo.gle/Gemma3Report},
    publisher={Kaggle},
    author={Gemma Team},
    year={2025}
}

モデルデータ

学習データセット

これらのモデルは、幅広いソースを含むテキストデータのデータセットで学習されました。27Bモデルは14兆トークンで学習され、12Bモデルは12兆トークンで学習され、4Bモデルは4兆トークンで学習され、1Bモデルは2兆トークンで学習されました。主な構成要素は以下の通りです。

• ウェブドキュメント: 多様なウェブテキストのコレクションにより、モデルは幅広い言語スタイル、トピック、語彙にさらされます。学習データセットには140以上の言語のコンテンツが含まれています。
• コード: モデルをコードにさらすことで、プログラミング言語の構文とパターンを学習し、コードを生成したり、コード関連の質問を理解する能力が向上します。
• 数学: 数学的なテキストで学習することで、モデルは論理的な推論、記号表現を学習し、数学的なクエリに対応することができます。
• 画像: 幅広い画像により、モデルは画像分析と視覚データ抽出タスクを実行することができます。

これらの多様なデータソースの組み合わせは、さまざまなタスクとデータ形式を扱うことができる強力なマルチモーダルモデルを学習するために重要です。

データ前処理

学習データに適用された主なデータクリーニングとフィルタリング方法は以下の通りです。

• CSAMフィルタリング: データ準備プロセスの複数の段階で、厳格なCSAM（児童性虐待素材）フィルタリングが適用され、有害で違法なコンテンツが除外されます。
• 敏感データフィルタリング: Gemmaの事前学習モデルを安全かつ信頼性の高いものにするため、自動化された手法を用いて、学習セットから特定の個人情報やその他の敏感なデータがフィルタリングされます。
• 追加の方法: [当社のポリシー][safety-policies]に沿ったコンテンツ品質と安全性に基づくフィルタリング。

実装情報

ハードウェア

Gemmaは、[Tensor Processing Unit (TPU)][tpu]ハードウェア（TPUv4p、TPUv5p、TPUv5e）を使用して学習されました。ビジョン言語モデル（VLM）の学習には、大量の計算能力が必要です。機械学習で一般的な行列演算用に特別に設計されたTPUは、この分野でいくつかの利点を提供します。

• パフォーマンス: TPUは、VLMの学習に関与する大量の計算を処理するように特別に設計されています。CPUと比較して、学習を大幅に高速化することができます。
• メモリ: TPUは、多くの場合、大量の高帯域幅メモリを備えており、学習中に大きなモデルとバッチサイズを処理することができます。これにより、モデルの品質が向上する可能性があります。
• スケーラビリティ: TPU Pod（TPUの大規模クラスター）は、大規模な基礎モデルのますます複雑な処理に対応するためのスケーラブルなソリューションを提供します。複数のTPUデバイスに学習を分散させることで、より高速かつ効率的な処理が可能です。
• コスト効率: 多くのシナリオで、TPUは、CPUベースのインフラストラクチャと比較して、大規模なモデルを学習するためのコスト効率の高いソリューションを提供することができます。特に、高速な学習によって節約される時間とリソースを考慮すると。
• これらの利点は、[Googleの持続可能な運用へのコミットメント][sustainability]と一致しています。

ソフトウェア

学習は、[JAX][jax]と[ML Pathways][ml-pathways]を使用して行われました。

JAXにより、研究者はTPUを含む最新世代のハードウェアを活用して、大規模なモデルをより高速かつ効率的に学習することができます。ML Pathwaysは、Googleが複数のタスクにわたって一般化することができる人工知能システムを構築するための最新の取り組みです。これは、このような大規模言語モデルを含む基礎モデルに特に適しています。

JAXとML Pathwaysは、[Geminiファミリーのモデルに関する論文][gemini-2-paper]で説明されているように使用されます。「JaxとPathwaysの「シングルコントローラ」プログラミングモデルにより、単一のPythonプロセスが学習実行全体を調整することができ、開発ワークフローが大幅に簡素化されます。」

評価

⚠️ 重要提示

このセクションの評価は、元のチェックポイントに対応しており、QATチェックポイントではありません。

ベンチマーク結果

これらのモデルは、テキスト生成のさまざまな側面をカバーするために、多数の異なるデータセットとメトリックに対して評価されました。

推論と事実性

STEMとコード

多言語

マルチモーダル

倫理と安全性

評価アプローチ

当社の評価方法には、構造化された評価と、関連するコンテンツポリシーの内部レッドチーミングテストが含まれています。レッドチーミングは、それぞれ異なる目標と人間評価メトリックを持つ複数の異なるチームによって実施されました。これらのモデルは、倫理と安全性に関連するいくつかの異なるカテゴリに対して評価されました。

• 児童安全: 児童性虐待や搾取を含む児童安全ポリシーをカバーするテキスト対テキストおよび画像対テキストのプロンプトの評価。
• コンテンツ安全: 嫌がらせ、暴力と残虐描写、および憎悪発言を含む安全ポリシーをカバーするテキスト対テキストおよび画像対テキストのプロンプトの評価。
• 表現上の危害: バイアス、ステレオタイプ、および有害な関連付けまたは誤りを含む安全ポリシーをカバーするテキスト対テキストおよび画像対テキストのプロンプトの評価。

開発レベルの評価に加えて、当社は「保証評価」を実施しています。これは、責任あるガバナンスの意思決定のための「独立した」内部評価です。これらはモデル開発チームとは別に実施され、リリースに関する意思決定に情報を提供します。高レベルの調査結果はモデルチームにフィードバックされますが、プロンプトセットは保持されて、過学習を防ぎ、意思決定に情報を提供する結果の能力を維持します。保証評価の結果は、リリースレビューの一部として当社の責任と安全委員会に報告されます。

評価結果

すべての安全テストの分野で、以前のGemmaモデルに比べて、児童安全、コンテンツ安全、および表現上の危害のカテゴリで大きな改善が見られました。すべてのテストは、安全フィルターを使用せずに実施され、モデルの能力と動作を評価しました。テキスト対テキストおよび画像対テキストの両方で、すべてのモデルサイズにわたって、モデルは最小限のポリシー違反を生み出し、根拠のない推論に関して以前のGemmaモデルのパフォーマンスに比べて大幅な改善を示しました。当社の評価の制限は、英語のプロンプトのみを含んでいたことです。

使用方法と制限

意図された使用法

オープンビジョン言語モデル（VLM）は、さまざまな産業やドメインにわたって幅広いアプリケーションを持っています。以下の潜在的な用途のリストは網羅的ではありません。このリストの目的は、モデル作成者がモデルの学習と開発の一部として考慮した可能なユースケースに関するコンテキスト情報を提供することです。

• コンテンツ作成とコミュニケーション
  • テキスト生成: これらのモデルは、詩、脚本、コード、マーケティングコピー、および電子メール草稿などのクリエイティブなテキスト形式を生成するために使用できます。
  • チャットボットと会話型AI: カスタマーサービス、バーチャルアシスタント、またはインタラクティブなアプリケーションの会話型インターフェースを提供します。
  • テキスト要約: テキストコーパス、研究論文、またはレポートの簡潔な要約を生成します。
  • 画像データ抽出: これらのモデルは、視覚データを抽出、解釈、および要約して、テキストコミュニケーションに使用することができます。
• 研究と教育
  • 自然言語処理（NLP）とVLM研究: これらのモデルは、研究者がVLMとNLP技術を実験し、アルゴリズムを開発し、分野の進歩に貢献するための基礎として機能することができます。
  • 言語学習ツール: 文法修正を支援したり、ライティング練習を提供したりすることで、インタラクティブな言語学習体験をサポートします。
  • 知識探索: 特定のトピックに関する要約を生成したり質問に答えたりすることで、研究者が大量のテキストを探索するのを支援します。

制限

• 学習データ
  • 学習データの品質と多様性は、モデルの能力に大きく影響します。学習データのバイアスやギャップは、モデルの応答に制限をもたらす可能性があります。
  • 学習データセットの範囲は、モデルが効果的に扱うことができる主題領域を決定します。
• コンテキストとタスクの複雑さ
  • モデルは、明確なプロンプトと指示で構成できるタスクでより優れたパフォーマンスを発揮します。オープンエンドまたは非常に複雑なタスクは、困難を伴う可能性があります。
  • モデルのパフォーマンスは、提供されるコンテキストの量に影響される可能性があります（長いコンテキストは、一般に、ある程度まではより良い出力につながります）。
• 言語の曖昧さとニュアンス
  • 自然言語は本質的に複雑です。モデルは、微妙なニュアンス、皮肉、または比喩的な言語を理解するのに苦労する可能性があります。
• 事実の正確性
  • モデルは、学習データセットから学習した情報に基づいて応答を生成しますが、知識ベースではありません。誤ったまたは古い事実陳述を生成する可能性があります。
• 常識
  • モデルは言語の統計的パターンに依存しています。特定の状況で常識的な推論を適用する能力が欠けている可能性があります。

倫理的な考慮事項とリスク

ビジョン言語モデル（VLM）の開発には、いくつかの倫理的な懸念が生じます。オープンモデルを作成する際に、当社は以下の点を慎重に検討しました。

• バイアスと公平性
  • 大規模な現実世界のテキストと画像データで学習されたVLMは、学習素材に埋め込まれた社会文化的バイアスを反映する可能性があります。これらのモデルは、慎重な精査、このカードで説明されている入力データの前処理、および事後評価を受けました。
• 誤情報と誤用
  • VLMは、誤った、誤解を招く、または有害なテキストを生成するために誤用される可能性があります。
  • モデルの責任ある使用のためのガイドラインが提供されています。[Responsible G

📄 ライセンス

ライセンス: gemma