R01 Gemma 3 1b It

🚀 Gemma 3モデルカード

モデルページ: Gemma

リソースと技術ドキュメント:

• [Gemma 3技術レポート][g3-tech-report]
• [責任ある生成AIツールキット][rai-toolkit]
• [Kaggle上のGemma][kaggle-gemma]
• [Vertex Model Garden上のGemma][vertex-mg-gemma3]

利用規約: [利用規約][terms]

著者: Google DeepMind

🚀 クイックスタート

Gemma 3は、Googleによる軽量で最先端のオープンモデルです。このモデルは、Geminiモデルを作成するために使用される同じ研究と技術に基づいて構築されています。多言語対応や大きなコンテキストウィンドウなどの特性を持ち、さまざまなテキスト生成や画像理解タスクに適しています。

✨ 主な機能

• 多モーダル対応: テキストと画像の入力を処理し、テキスト出力を生成します。
• 大規模コンテキストウィンドウ: 最大128Kのコンテキストウィンドウを持ち、多様な入力を扱えます。
• 多言語対応: 140以上の言語をサポートしています。
• 軽量でリソース効率が高い: ラップトップやデスクトップなどの限られたリソース環境でもデプロイ可能です。

📦 インストール

ドキュメントに具体的なインストール手順が記載されていないため、このセクションをスキップします。

💻 使用例

ドキュメントに具体的なコード例が記載されていないため、このセクションをスキップします。

📚 ドキュメント

モデル情報

説明

Gemmaは、Googleによる軽量で最先端のオープンモデルファミリーです。Geminiモデルを作成するために使用される同じ研究と技術に基づいて構築されています。Gemma 3モデルは多モーダルで、テキストと画像の入力を処理し、テキスト出力を生成します。事前学習バリアントと命令微調整バリアントの両方について、オープンな重みが公開されています。Gemma 3は、大きな128Kのコンテキストウィンドウを持ち、140以上の言語での多言語サポートを備えており、以前のバージョンよりも多くのサイズで利用可能です。Gemma 3モデルは、質問応答、要約、推論など、さまざまなテキスト生成と画像理解タスクに適しています。比較的小さなサイズのため、ラップトップ、デスクトップ、または独自のクラウドインフラストラクチャなどの限られたリソース環境でもデプロイ可能であり、最先端のAIモデルへのアクセスを民主化し、誰もが革新を促進できるようにします。

入力と出力

• 入力:
  • テキスト文字列、例えば質問、プロンプト、または要約するドキュメント
  • 896 x 896の解像度に正規化され、それぞれ256トークンにエンコードされた画像
  • 4B、12B、および27Bサイズの場合は最大128Kトークンの入力コンテキスト、1Bサイズの場合は32Kトークン
• 出力:
  • 入力に対する生成テキスト、例えば質問への回答、画像コンテンツの分析、またはドキュメントの要約
  • 最大8192トークンの出力コンテキスト

引用

@article{gemma_2025,
    title={Gemma 3},
    url={https://goo.gle/Gemma3Report},
    publisher={Kaggle},
    author={Gemma Team},
    year={2025}
}

モデルデータ

学習データセット

この特定のモデルは、openai/gsm8kデータセットをGRPO微調整方法で学習させたものです。

これらのモデルは、幅広いソースを含むテキストデータのデータセットで学習されました。27Bモデルは14兆トークンで学習され、12Bモデルは12兆トークンで学習され、4Bモデルは4兆トークンで学習され、1Bモデルは2兆トークンで学習されました。以下は主要な構成要素です:

• ウェブドキュメント: 多様なウェブテキストのコレクションは、モデルが幅広い言語スタイル、トピック、および語彙にさらされるようにします。学習データセットには140以上の言語のコンテンツが含まれています。
• コード: モデルをコードにさらすことで、プログラミング言語の構文とパターンを学習し、コード生成とコード関連の質問理解能力を向上させます。
• 数学: 数学的なテキストでの学習は、モデルが論理的な推論、記号表現を学習し、数学的なクエリに対応する能力を向上させます。
• 画像: 幅広い画像により、モデルは画像分析と視覚データ抽出タスクを実行できるようになります。

これらの多様なデータソースの組み合わせは、幅広い異なるタスクとデータ形式を扱うことができる強力な多モーダルモデルを学習するために重要です。

データ前処理

学習データに適用された主要なデータクリーニングとフィルタリング方法は以下の通りです:

• CSAMフィルタリング: データ準備プロセスの複数の段階で、厳格なCSAM（児童性虐待素材）フィルタリングが適用され、有害で違法なコンテンツの排除が確保されました。
• 機密データフィルタリング: Gemmaの事前学習モデルを安全かつ信頼できるものにするための一環として、自動化された技術を使用して、学習セットから特定の個人情報やその他の機密データをフィルタリングしました。
• 追加の方法: [当社のポリシー][safety-policies]に沿ったコンテンツ品質と安全性に基づくフィルタリング。

実装情報

ハードウェア

Gemmaは、[Tensor Processing Unit (TPU)][tpu]ハードウェア（TPUv4p、TPUv5p、およびTPUv5e）を使用して学習されました。ビジョン言語モデル（VLM）の学習には、大量の計算能力が必要です。TPUは、機械学習で一般的な行列演算用に特別に設計されており、この分野でいくつかの利点を提供します:

• パフォーマンス: TPUは、VLMの学習に関与する大量の計算を処理するように特別に設計されています。CPUと比較して、学習を大幅に高速化することができます。
• メモリ: TPUは、多くの場合、大量の高帯域幅メモリを備えており、学習中に大きなモデルとバッチサイズを処理できます。これにより、モデルの品質を向上させることができます。
• 拡張性: TPU Pod（TPUの大規模クラスター）は、大規模な基礎モデルの増大する複雑さを処理するための拡張可能なソリューションを提供します。複数のTPUデバイスに学習を分散させることで、より高速かつ効率的な処理が可能です。
• コスト効率: 多くのシナリオで、TPUは、CPUベースのインフラストラクチャと比較して、大規模なモデルの学習においてよりコスト効率の高いソリューションを提供することができます。特に、高速な学習による時間とリソースの節約を考慮すると、その効果が顕著です。
• これらの利点は、[Googleの持続可能な運用へのコミットメント][sustainability]と一致しています。

ソフトウェア

学習は、[JAX][jax]と[ML Pathways][ml-pathways]を使用して行われました。

JAXにより、研究者はTPUを含む最新世代のハードウェアを活用して、大規模モデルのより高速かつ効率的な学習を行うことができます。ML Pathwaysは、Googleによる複数のタスクにまたがって汎化できる人工知能システムを構築する最新の取り組みです。これは、このような大規模言語モデルを含む基礎モデルに特に適しています。

JAXとML Pathwaysは、[Geminiモデルファミリーに関する論文][gemini-2-paper]で説明されているように使用されます: "JaxとPathwaysの 'シングルコントローラ' プログラミングモデルにより、単一のPythonプロセスが学習実行全体をオーケストレーションできるようになり、開発ワークフローが大幅に簡素化されます。"

評価

ベンチマーク結果

これらのモデルは、テキスト生成のさまざまな側面をカバーするために、多数の異なるデータセットとメトリクスに対して評価されました。

推論と事実性

STEMとコード

多言語

多モーダル

倫理と安全性

評価アプローチ

当社の評価方法には、構造化された評価と関連コンテンツポリシーの内部レッドチーミングテストが含まれています。レッドチーミングは、それぞれ異なる目標と人間評価メトリクスを持ついくつかの異なるチームによって実施されました。これらのモデルは、倫理と安全性に関連するいくつかの異なるカテゴリに対して評価されました。

• 児童安全: 児童性虐待や搾取を含む児童安全ポリシーをカバーするテキストからテキスト、画像からテキストのプロンプトの評価。
• コンテンツ安全: 嫌がらせ、暴力と残虐描写、および憎悪言語を含む安全ポリシーをカバーするテキストからテキスト、画像からテキストのプロンプトの評価。
• 表現上の危害: 偏見、ステレオタイプ、および有害な関連付けまたは誤りを含む安全ポリシーをカバーするテキストからテキスト、画像からテキストのプロンプトの評価。

開発レベルの評価に加えて、当社は「保証評価」を実施しています。これは、責任あるガバナンスの意思決定のための「独立した」内部評価です。これらは、モデル開発チームとは別に実施され、リリースに関する意思決定に情報を提供します。高レベルの調査結果はモデルチームにフィードバックされますが、プロンプトセットは保持されて、過学習を防止し、結果が意思決定に役立つ能力を維持します。保証評価結果は、リリースレビューの一環として当社の責任と安全理事会に報告されます。

評価結果

すべての安全テストの分野において、以前のGemmaモデルに比べて、児童安全、コンテンツ安全、および表現上の危害のカテゴリで大きな改善が見られました。すべてのテストは、安全フィルターを使用せずに実施され、モデルの能力と振る舞いを評価しました。テキストからテキスト、画像からテキストの両方について、すべてのモデルサイズにわたって、モデルは最小限のポリシー違反を生み出し、以前のGemmaモデルの性能に比べて、根拠のない推論に関して大幅な改善を示しました。当社の評価の制限は、英語のプロンプトのみを含んでいたことです。

使用方法と制限

想定される使用法

オープンビジョン言語モデル（VLM）は、さまざまな産業や分野で幅広いアプリケーションを持っています。以下の潜在的な用途のリストは網羅的ではありません。このリストの目的は、モデル作成者がモデルの学習と開発の一環として考慮した可能なユースケースに関するコンテキスト情報を提供することです。

• コンテンツ作成とコミュニケーション
  • テキスト生成: これらのモデルは、詩、脚本、コード、マーケティングコピー、およびメール草稿などの創造的なテキスト形式を生成するために使用できます。
  • チャットボットと会話型AI: カスタマーサービス、バーチャルアシスタント、またはインタラクティブアプリケーションの会話型インターフェースを提供します。
  • テキスト要約: テキストコーパス、研究論文、またはレポートの簡潔な要約を生成します。
  • 画像データ抽出: これらのモデルは、視覚データを抽出、解釈、および要約して、テキストコミュニケーションに使用することができます。
• 研究と教育
  • 自然言語処理（NLP）とVLM研究: これらのモデルは、研究者がVLMとNLP技術を実験し、アルゴリズムを開発し、分野の進歩に貢献するための基盤となります。
  • 言語学習ツール: 対話型の言語学習体験をサポートし、文法修正や作文練習を支援します。
  • 知識探索: 特定のトピックに関する要約を生成したり質問に答えたりすることで、研究者が大量のテキストを探索するのを支援します。

制限

• 学習データ:
  • 学習データの品質と多様性は、モデルの能力に大きく影響します。学習データのバイアスやギャップは、モデルの応答に制限をもたらす可能性があります。
  • 学習データセットの範囲は、モデルが効果的に扱うことができる主題領域を決定します。
• コンテキストとタスクの複雑さ:
  • モデルは、明確なプロンプトと指示で構成できるタスクでより優れた性能を発揮します。オープンエンドまたは非常に複雑なタスクは、困難になる可能性があります。
  • モデルの性能は、提供されるコンテキストの量に影響される可能性があります（長いコンテキストは、ある程度まで一般的により良い出力をもたらします）。
• 言語の曖昧さとニュアンス:
  • 自然言語は本質的に複雑です。モデルは、微妙なニュアンス、皮肉、または比喩的な言語を理解するのに苦労する可能性があります。
• 事実の正確性:
  • モデルは、学習データセットから学んだ情報に基づいて応答を生成しますが、知識ベースではありません。誤ったまたは古い事実陳述を生成する可能性があります。
• 常識:
  • モデルは言語の統計的パターンに依存しています。特定の状況で常識的な推論を適用する能力が不足している可能性があります。

倫理的な考慮事項とリスク

ビジョン言語モデル（VLM）の開発には、いくつかの倫理的な懸念が生じます。オープンモデルを作成する際に、当社は以下の点を慎重に考慮しています。

• バイアスと公平性:
  • 大規模な現実世界のテキストと画像データで学習されたVLMは、学習材料に埋め込まれた社会文化的バイアスを反映する可能性があります。これらのモデルは、入力データの前処理と本カードに報告されている事後評価を通じて、注意深く精査されました。
• 誤情報と悪用:
  • VLMは、誤った、誤解を招く、または有害なテキストを生成するために悪用される可能性があります。
  • モデルの責任ある使用のためのガイドラインが提供されています。詳細は[責任ある生成AIツールキット][rai-toolkit]を参照してください。
• 透明性と説明責任:
  • このモデルカードは、モデルのアーキテクチャ、機能、制限、および評価プロセスに関する詳細を要約しています。
  • 責任を持って開発されたオープンモデルは、AIエコシステム全体の開発者や研究者がVLM技術にアクセスできるようにすることで、革新を共有する機会を提供します。

特定のリスクとその緩和策は以下の通りです。

• バイアスの拡大: モデルの学習、微調整、およびその他のユースケースにおいて、評価指標や人間のレビューを使用した継続的な監視と、バイアス除去技術の探索が推奨されます。
• 有害コンテンツの生成: コンテンツ安全のためのメカニズムとガイドラインが不可欠です。開発者は、特定の製品ポリシーとアプリケーションのユースケースに基づいて、適切なコンテンツ安全対策を実装するように注意を払うことが推奨されます。
• 悪意のある目的での悪用: VLMの悪意のあるアプリケーションに対して、技術的な制限と開発者およびエンドユーザーの教育が役立ちます。ユーザーが悪用を報告するための教育リソースと報告メカニズムが提供されています。Gemmaモデルの禁止された使用法は、[Gemma禁止使用ポリシー][prohibited-use]に記載されています。
• プライバシー侵害: モデルは、特定の個人情報やその他の機密データが除去されるようにフィルタリングされたデータで学習されました。開発者は、プライバシー保護技術を使用してプライバシー規制に準拠することが推奨されます。

利点

リリース時点で、このモデルファミリーは、同じサイズのモデルと比較して、責任あるAI開発のために根本から設計された高性能なオープンビジョン言語モデルの実装を提供します。

このドキュメントに記載されているベンチマーク評価指標を使用すると、これらのモデルは、同様のサイズの他のオープンモデルの代替品よりも優れた性能を示すことがわかります。

アップロードされた微調整モデル

• 開発者: EpistemeAI
• ライセンス: apache-2.0
• 微調整元のモデル: unsloth/gemma-3-1b-it

このgemma3_textモデルは、UnslothとHuggingfaceのTRLライブラリを使用して2倍速で学習されました。

🔧 技術詳細

引用

@article{gemma_2025,
    title={Gemma 3},
    url={https://goo.gle/Gemma3Report},
    publisher={Kaggle},
    author={Gemma Team},
    year={2025}
}

📄 ライセンス

• 元のモデル: gemma
• アップロードされた微調整モデル: apache-2.0