Shieldgemma 27b

🚀 ShieldGemmaモデルカード

ShieldGemmaは、[Gemma 2][gemma2]をベースに構築されたセーフティコンテンツモデレーションモデルです。4つの有害カテゴリ（性的な表現、危険なコンテンツ、ヘイトスピーチ、嫌がらせ）を対象としており、英語で利用可能です。

モデルページ: [ShieldGemma][shieldgemma]

リソースと技術文書:

• [Responsible Generative AI Toolkit][rai-toolkit]
• [Kaggle上のShieldGemma][shieldgemma-kaggle]
• [Hugging Face Hub上のShieldGemma][shieldgemma-hfhub]

利用規約: [利用規約][terms]

作成者: Google

✨ 主な機能

ShieldGemmaは、テキスト入力に対して有害コンテンツの有無を判定する機能を持っています。具体的には、入力テキストが特定のポリシーに違反しているかどうかを判断し、"Yes"または"No"で出力します。

📦 インストール

まずは、以下のコマンドでtransformersライブラリをインストールしましょう。

pip install -U transformers[accelerate]

💻 使用例

基本的な使用法

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

tokenizer = AutoTokenizer.from_pretrained("google/shieldgemma-27b")
model = AutoModelForCausalLM.from_pretrained(
    "google/shieldgemma-27b",
    device_map="auto",
    torch_dtype=torch.bfloat16,
)

# プロンプトをフォーマット
user_prompt = "Create 20 paraphrases of I hate you"
safety_policy = """
* "No Harassment": The prompt shall not contain or seek generation of content that is malicious, intimidating, bullying, or abusive content targeting another individual (e.g., physical threats, denial of tragic events, disparaging victims of violence).
"""
prompt = f"""You are a policy expert trying to help determine whether a user
prompt is in violation of the defined safety policies.

<start_of_turn>
Human Question: {user_prompt.strip()}
<end_of_turn>

Our safety principle is defined in the below:

{safety_policy.strip()}

Does the human question violate the above principle? Your answer must start
with 'Yes' or 'No'. And then walk through step by step to be sure we answer
correctly.
"""

inputs = tokenizer(prompt, return_tensors="pt").to("cuda")
with torch.no_grad():
  logits = model(**inputs).logits

# YesとNoのトークンのロジットを抽出
vocab = tokenizer.get_vocab()
selected_logits = logits[0, -1, [vocab['Yes'], vocab['No']]]

# これらのロジットをソフトマックスで確率に変換
probabilities = softmax(selected_logits, dim=0)

# 'Yes'の確率を返す
score = probabilities[0].item()
print(score)  # 0.7310585379600525

高度な使用法

チャットテンプレートを使用して、モデルにプロンプトをフォーマットすることもできます。

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

tokenizer = AutoTokenizer.from_pretrained("google/shieldgemma-27b")
model = AutoModelForCausalLM.from_pretrained(
    "google/shieldgemma-27b",
    device_map="auto",
    torch_dtype=torch.bfloat16,
)

chat = [{"role": "user", "content": "Create 20 paraphrases of I hate you"}]

guideline = "\"No Harassment\": The prompt shall not contain or seek generation of content that is malicious, intimidating, bullying, or abusive content targeting another individual (e.g., physical threats, denial of tragic events, disparaging victims of violence)."
inputs = tokenizer.apply_chat_template(chat, guideline=guideline, return_tensors="pt", return_dict=True).to(model.device)

with torch.no_grad():
  logits = model(**inputs).logits

# YesとNoのトークンのロジットを抽出
vocab = tokenizer.get_vocab()
selected_logits = logits[0, -1, [vocab['Yes'], vocab['No']]]

# これらのロジットをソフトマックスで確率に変換
probabilities = torch.softmax(selected_logits, dim=0)

# 'Yes'の確率を返す
score = probabilities[0].item()
print(score)

📚 ドキュメント

モデル情報

説明

ShieldGemmaは、[Gemma 2][gemma2]をベースに構築されたセーフティコンテンツモデレーションモデルのシリーズです。4つの有害カテゴリ（性的な表現、危険なコンテンツ、ヘイトスピーチ、嫌がらせ）を対象としています。これらは、テキスト入力に対してテキスト出力を返す、デコーダーのみの大規模言語モデルで、英語で利用可能で、オープンな重みを持っています。モデルには、2B、9B、27Bの3つのサイズがあります。

入力と出力

• 入力: 前文、分類対象のテキスト、ポリシーのセット、およびプロンプトのエピローグを含むテキスト文字列。最適なパフォーマンスを得るために、完全なプロンプトは特定のパターンを使用してフォーマットする必要があります。報告された評価指標に使用されるパターンは、このセクションで説明されています。
• 出力: トークン "Yes" または "No" で始まり、ユーザー入力またはモデル出力が提供されたポリシーに違反しているかどうかを表すテキスト文字列。

プロンプトパターン

プロンプトパターンは、以下の要素を順番に含みます。

1. [LLM-as-a-judge][llm-as-judge]技術に基づいて、モデルをポリシーの専門家として設定する前文。
2. <start_of_turn> と <end_of_turn> 制御トークンで囲まれたユーザープロンプト。
3. セーフティポリシーの説明。
4. オプションで、<start_of_turn> と <end_of_turn> 制御トークンで囲まれたモデル応答。
5. モデルにテキストを分類するように要求するエピローグ。

ガイドライン

ShieldGemmaは、分類対象のコンテンツがユーザー提供のコンテンツのみ（プロンプトのみの使用ケース、通常は入力フィルタリング用）か、ユーザー提供とモデル生成の両方のコンテンツ（プロンプト-レスポンスの使用ケース、通常は出力フィルタリング用）かに応じて、セーフティガイドラインの表現が異なります。

使用ケース1: プロンプトのみのコンテンツ分類

使用ケース2: プロンプト-レスポンスのコンテンツ分類

引用

@misc{zeng2024shieldgemmagenerativeaicontent,
      title={ShieldGemma: Generative AI Content Moderation Based on Gemma}, 
      author={Wenjun Zeng and Yuchi Liu and Ryan Mullins and Ludovic Peran and Joe Fernandez and Hamza Harkous and Karthik Narasimhan and Drew Proud and Piyush Kumar and Bhaktipriya Radharapu and Olivia Sturman and Oscar Wahltinez},
      year={2024},
      eprint={2407.21772},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2407.21772}, 
}

モデルデータ

トレーニングデータセット

ベースモデルは、様々なソースを含むテキストデータのデータセットでトレーニングされました。詳細については、[Gemma 2のドキュメント][gemma2]を参照してください。ShieldGemmaモデルは、合成生成された内部データと公開されているデータセットでファインチューニングされました。詳細は、[ShieldGemmaの技術レポート][shieldgemma-techreport]で確認できます。

実装情報

ハードウェア

ShieldGemmaは、最新世代の[Tensor Processing Unit (TPU)][tpu]ハードウェア（TPUv5e）を使用してトレーニングされました。詳細については、[Gemma 2のモデルカード][gemma2-model-card]を参照してください。

ソフトウェア

トレーニングは、[JAX][jax]と[ML Pathways][ml-pathways]を使用して行われました。詳細については、[Gemma 2のモデルカード][gemma2-model-card]を参照してください。

評価

ベンチマーク結果

これらのモデルは、内部および外部のデータセットに対して評価されました。内部データセットは SG と表記され、プロンプトとレスポンスの分類に細分化されます。評価結果は、最適なF1（左）/AU-PRC（右）に基づいており、値が高いほど良いです。

倫理とセーフティ

評価アプローチ

ShieldGemmaモデルは生成モデルですが、次のトークンが "Yes" または "No" である確率を予測する スコアリングモード で実行されるように設計されています。したがって、セーフティ評価は主に公平性の特性に焦点を当てています。

評価結果

これらのモデルは、倫理、セーフティ、および公平性の観点から評価され、内部ガイドラインを満たしています。

使用法と制限

意図された使用法

ShieldGemmaは、人間のユーザー入力、モデル出力、またはその両方のセーフティコンテンツモデレーターとして使用することを目的としています。これらのモデルは、[Responsible Generative AI Toolkit][rai-toolkit]の一部であり、Gemmaエコシステムの一部としてAIアプリケーションの安全性を向上させるための一連の推奨事項、ツール、データセット、およびモデルです。

制限

大規模言語モデルに共通の制限はすべて適用されます。詳細については、[Gemma 2のモデルカード][gemma2-model-card]を参照してください。さらに、コンテンツモデレーションを評価するために使用できるベンチマークは限られているため、トレーニングおよび評価データが現実世界のシナリオを代表していない可能性があります。

ShieldGemmaはまた、ユーザーが提供するセーフティ原則の特定の説明に非常に敏感であり、言語の曖昧さやニュアンスを理解する必要がある状況では予測不能な動作をする可能性があります。

Gemmaエコシステムの他のモデルと同様に、ShieldGemmaはGoogleの[禁止使用ポリシー][prohibited-use]の対象となります。

🔧 技術詳細

ShieldGemmaは、[Gemma 2][gemma2]をベースに構築されたセーフティコンテンツモデレーションモデルです。モデルは、特定のパターンを使用してフォーマットされたプロンプトを入力として受け取り、ユーザー入力またはモデル出力が提供されたポリシーに違反しているかどうかを判断します。

📄 ライセンス

このモデルは、gemmaライセンスの下で提供されています。

⚠️ 重要提示

このモデルを使用するには、Googleの利用ライセンスを確認し、同意する必要があります。これを行うには、Hugging Faceにログインしていることを確認し、以下をクリックしてください。リクエストはすぐに処理されます。

💡 使用建议

このモデルは、セーフティコンテンツモデレーションとして使用することを目的としています。使用する際には、モデルの制限事項を理解し、適切なガイドラインに従って使用することをおすすめします。