Gemma 3 12b It Qat

🚀 Gemma 3モデルカード

Gemma 3はGoogleが開発した軽量で最先端のオープンモデルです。Transformerアーキテクチャをベースに構築され、テキストと画像の入力を処理し、テキスト出力を生成することができます。このモデルは、多様なタスクやデータ形式に対応し、限られたリソース環境でもデプロイ可能です。

モデルページ: Gemma

⚠️ 重要な注意事項

このリポジトリは、量子化認識トレーニング（QAT）を使用したGemma 3モデルの12B 命令調整済み バージョンに対応しています。

このリポジトリのチェックポイントは量子化されていないため、お好みのツールでQ4_0で量子化することを確認してください

QATにより、モデルはbfloat16と同様の品質を維持しながら、モデルをロードするためのメモリ要件を大幅に削減することができます。

リソースと技術ドキュメント:

• [Gemma 3技術レポート][g3-tech-report]
• [責任ある生成AIツールキット][rai-toolkit]
• [KaggleのGemma][kaggle-gemma]
• [Vertex Model GardenのGemma][vertex-mg-gemma3]

利用規約: [利用規約][terms]

著者: Google DeepMind

✨ 主な機能

• マルチモーダル対応: テキストと画像の入力を処理し、テキスト出力を生成します。
• 大規模コンテキストウィンドウ: 128Kのコンテキストウィンドウを持ち、多言語対応（140以上の言語）しています。
• 多様なタスク対応: 質問応答、要約、推論などの様々なテキスト生成と画像理解タスクに適しています。
• リソース効率: 比較的小さなサイズであり、ノートパソコンやデスクトップ、クラウドインフラストラクチャなどの限られたリソース環境でもデプロイ可能です。

📦 インストール

ドキュメントに具体的なインストール手順が記載されていないため、このセクションをスキップします。

💻 使用例

ドキュメントに具体的なコード例が記載されていないため、このセクションをスキップします。

📚 ドキュメント

モデル情報

説明

Gemmaは、Googleによる軽量で最先端のオープンモデルファミリーです。Geminiモデルを作成するために使用された同じ研究と技術から構築されています。Gemma 3モデルはマルチモーダルで、テキストと画像の入力を処理し、テキスト出力を生成します。事前学習バリアントと命令調整バリアントの両方のオープンウェイトがあります。Gemma 3は、大きな128Kのコンテキストウィンドウを持ち、140以上の言語での多言語サポートがあり、以前のバージョンよりも多くのサイズで利用可能です。Gemma 3モデルは、質問応答、要約、推論などの様々なテキスト生成と画像理解タスクに適しています。比較的小さなサイズであるため、ノートパソコンやデスクトップ、独自のクラウドインフラストラクチャなどの限られたリソース環境でもデプロイすることができ、最先端のAIモデルへのアクセスを民主化し、誰もが革新を促進するのに役立ちます。

入力と出力

引用

@article{gemma_2025,
    title={Gemma 3},
    url={https://goo.gle/Gemma3Report},
    publisher={Kaggle},
    author={Gemma Team},
    year={2025}
}

モデルデータ

トレーニングデータセット

これらのモデルは、幅広いソースを含むテキストデータのデータセットでトレーニングされました。27Bモデルは14兆トークンでトレーニングされ、12Bモデルは12兆トークンでトレーニングされ、4Bモデルは4兆トークンでトレーニングされ、1Bモデルは2兆トークンでトレーニングされました。主な構成要素は次のとおりです。

• ウェブドキュメント: 多様なウェブテキストのコレクションにより、モデルは幅広い言語スタイル、トピック、語彙にさらされます。トレーニングデータセットには140以上の言語のコンテンツが含まれています。
• コード: モデルをコードにさらすことで、プログラミング言語の構文やパターンを学習し、コードを生成したり、コード関連の質問を理解する能力が向上します。
• 数学: 数学的なテキストでトレーニングすることで、モデルは論理的な推論、記号表現を学習し、数学的なクエリに対応することができます。
• 画像: 幅広い画像により、モデルは画像分析や視覚データ抽出タスクを実行することができます。

これらの多様なデータソースの組み合わせは、幅広い異なるタスクやデータ形式を処理できる強力なマルチモーダルモデルをトレーニングするために重要です。

データ前処理

トレーニングデータに適用された主なデータクリーニングとフィルタリング方法は次のとおりです。

• CSAMフィルタリング: データ準備プロセスの複数の段階で、厳格なCSAM（児童性虐待素材）フィルタリングが適用され、有害で違法なコンテンツの除外が確保されました。
• 機微データフィルタリング: Gemmaの事前学習モデルを安全かつ信頼性の高いものにするため、自動化された手法を使用して、トレーニングセットから特定の個人情報やその他の機微データをフィルタリングしました。
• 追加の方法: [当社のポリシー][safety-policies]に沿ったコンテンツ品質と安全性に基づくフィルタリング。

実装情報

ハードウェア

Gemmaは、[テンソル処理ユニット（TPU）][tpu]ハードウェア（TPUv4p、TPUv5p、TPUv5e）を使用してトレーニングされました。ビジョン言語モデル（VLM）をトレーニングするには、かなりの計算能力が必要です。機械学習で一般的な行列演算用に特別に設計されたTPUは、この分野でいくつかの利点を提供します。

• パフォーマンス: TPUは、VLMのトレーニングに関与する大規模な計算を処理するように特別に設計されています。CPUと比較して、トレーニングを大幅に高速化することができます。
• メモリ: TPUには多くの場合、大量の高帯域幅メモリが搭載されており、トレーニング中に大きなモデルとバッチサイズを処理できます。これにより、モデルの品質を向上させることができます。
• スケーラビリティ: TPUポッド（TPUの大規模クラスター）は、大規模な基盤モデルの増大する複雑さを処理するためのスケーラブルなソリューションを提供します。複数のTPUデバイスにトレーニングを分散させることで、より高速かつ効率的な処理が可能になります。
• コスト効率: 多くのシナリオで、TPUはCPUベースのインフラストラクチャと比較して、大規模なモデルをトレーニングするためのよりコスト効率の高いソリューションを提供できます。特に、高速なトレーニングによって節約される時間とリソースを考慮すると。
• これらの利点は、[Googleの持続可能な運用へのコミットメント][sustainability]と一致しています。

ソフトウェア

トレーニングは、[JAX][jax]と[ML Pathways][ml-pathways]を使用して行われました。

JAXにより、研究者はTPUを含む最新世代のハードウェアを活用して、大規模なモデルをより高速かつ効率的にトレーニングすることができます。ML Pathwaysは、複数のタスクにまたがって一般化できる人工知能システムを構築するためのGoogleの最新の取り組みです。これは、このような大規模言語モデルを含む基盤モデルに特に適しています。

JAXとML Pathwaysは、[Geminiモデルファミリーに関する論文][gemini-2-paper]で説明されているように一緒に使用されます。"JaxとPathwaysの'シングルコントローラ'プログラミングモデルにより、単一のPythonプロセスがトレーニング実行全体を調整でき、開発ワークフローが大幅に簡素化されます。"

評価

⚠️ 重要な注意事項

このセクションの評価は、元のチェックポイントに対応しており、QATチェックポイントではありません。

ベンチマーク結果

これらのモデルは、テキスト生成のさまざまな側面をカバーするために、多数の異なるデータセットとメトリックに対して評価されました。

推論と事実性

STEMとコード

多言語

マルチモーダル

倫理と安全性

評価アプローチ

当社の評価方法には、構造化された評価と関連するコンテンツポリシーの内部レッドチーミングテストが含まれています。レッドチーミングは、それぞれ異なる目標と人間による評価メトリックを持つ複数の異なるチームによって実施されました。これらのモデルは、倫理と安全性に関連するいくつかの異なるカテゴリに対して評価されました。

• 児童安全: 児童性虐待や搾取を含む児童安全ポリシーをカバーするテキストからテキストへのプロンプトと画像からテキストへのプロンプトの評価。
• コンテンツ安全: 嫌がらせ、暴力や残虐描写、憎しみの言葉を含む安全ポリシーをカバーするテキストからテキストへのプロンプトと画像からテキストへのプロンプトの評価。
• 表現上の害: 偏見、ステレオタイプ、有害な関連付けまたは不正確さを含む安全ポリシーをカバーするテキストからテキストへのプロンプトと画像からテキストへのプロンプトの評価。

開発レベルの評価に加えて、当社は「保証評価」を実施しています。これは、責任あるガバナンスの意思決定のための「独立した」内部評価です。これらはモデル開発チームとは別に実施され、リリースに関する意思決定に情報を提供します。高レベルの調査結果はモデルチームにフィードバックされますが、プロンプトセットは除外されて、過学習を防ぎ、結果が意思決定に役立つ能力を維持します。保証評価の結果は、リリースレビューの一環として当社の責任と安全理事会に報告されます。

評価結果

すべての安全性テストの分野で、以前のGemmaモデルに比べて、児童安全、コンテンツ安全、表現上の害のカテゴリで大幅な改善が見られました。すべてのテストは、安全フィルターを使用せずに実施され、モデルの能力と動作を評価しました。テキストからテキスト、画像からテキストの両方について、すべてのモデルサイズで、モデルは最小限のポリシー違反を生み出し、以前のGemmaモデルの性能に比べて、根拠のない推論に関して大幅な改善を示しました。当社の評価の限界は、英語のプロンプトのみを含んでいたことです。

使用方法と制限事項

想定される使用方法

オープンビジョン言語モデル（VLM）は、さまざまな産業やドメインで幅広いアプリケーションを持っています。以下の潜在的な使用例のリストは網羅的ではありません。このリストの目的は、モデル作成者がモデルのトレーニングと開発の一環として考慮した可能なユースケースに関するコンテキスト情報を提供することです。

• コンテンツ作成とコミュニケーション
  • テキスト生成: これらのモデルは、詩、脚本、コード、マーケティングコピー、メール草稿などの創造的なテキスト形式を生成するために使用できます。
  • チャットボットと会話型AI: カスタマーサービス、バーチャルアシスタント、またはインタラクティブアプリケーションの会話型インターフェースを強化します。
  • テキスト要約: テキストコーパス、研究論文、またはレポートの簡潔な要約を生成します。
  • 画像データ抽出: これらのモデルは、視覚データを抽出、解釈、要約して、テキストコミュニケーションに使用できます。
• 研究と教育
  • 自然言語処理（NLP）とVLM研究: これらのモデルは、研究者がVLMとNLP技術を実験し、アルゴリズムを開発し、分野の進歩に貢献するための基盤として役立ちます。
  • 言語学習ツール: 対話型の言語学習体験をサポートし、文法の修正や執筆練習を支援します。
  • 知識探索: 研究者が大規模なテキストボディを探索するのを支援し、特定のトピックに関する要約を生成したり質問に答えたりします。

制限事項

• トレーニングデータ
  • トレーニングデータの品質と多様性は、モデルの能力に大きく影響します。トレーニングデータの偏りやギャップは、モデルの応答に制限をもたらす可能性があります。
  • トレーニングデータセットの範囲は、モデルが効果的に処理できる主題領域を決定します。
• コンテキストとタスクの複雑さ
  • モデルは、明確なプロンプトと指示で構成できるタスクでより優れています。オープンエンドまたは非常に複雑なタスクは困難になる可能性があります。
  • モデルのパフォーマンスは、提供されるコンテキストの量に影響される可能性があります（長いコンテキストは、ある程度まで一般的により良い出力につながります）。
• 言語の曖昧さとニュアンス
  • 自然言語は本質的に複雑です。モデルは、微妙なニュアンス、皮肉、または比喩的な言語を理解するのに苦労する可能性があります。
• 事実の正確性
  • モデルはトレーニングデータセットから学習した情報に基づいて応答を生成しますが、知識ベースではありません。誤ったまたは古い事実陳述を生成する可能性があります。
• 常識
  • モデルは言語の統計的パターンに依存しています。特定の状況で常識的な推論を適用する能力が欠けている可能性があります。

倫理的な考慮事項とリスク

ビジョン言語モデル（VLM）の開発には、いくつかの倫理的な懸念が生じます。オープンモデルを作成する際に、当社は次の点を慎重に考慮しています。

• 偏見と公平性
  • 大規模な現実世界のテキストと画像データでトレーニングされたVLMは、トレーニング素材に埋め込まれた社会文化的な偏見を反映する可能性があります。これらのモデルは、注意深く精査され、入力データの前処理が説明され、このカードに報告された事後評価が行われました。
• 誤情報と誤用
  • VLMは、誤った、誤解を招く、または有害なテキストを生成するために誤用される可能性があります。
  • モデルの責任ある使用のためのガイドラインが提供されています。詳細については、[責任ある使用ガイドライン][responsible-use]を参照してください。

🔧 技術詳細

ドキュメントに具体的な技術詳細が記載されていないため、このセクションをスキップします。

📄 ライセンス

このモデルは、Gemmaライセンスの下で提供されています。詳細については、[ライセンス情報][gemma-license]を参照してください。