Shieldgemma 27b

🚀 ShieldGemma模型卡片

ShieldGemma是基于Gemma 2构建的一系列安全内容审核模型，可针对四类有害内容进行审核，包括色情低俗、危险内容、仇恨言论和骚扰信息。该模型以文本形式输入和输出，是仅含解码器的大语言模型，以英文提供开放权重，包含2B、9B和27B参数三种不同规模的模型。

🚀 快速开始

若要在Hugging Face上使用Gemma，你需要查看并同意Google的使用许可。请确保你已登录Hugging Face，然后点击下方按钮。请求将立即处理。 点击确认许可

✨ 主要特性

• 精准审核：能够精准识别四类有害内容，包括色情低俗、危险内容、仇恨言论和骚扰信息。
• 多规模选择：提供2B、9B和27B参数三种不同规模的模型，满足不同场景需求。
• 开放权重：英文版本开放权重，方便开发者使用和研究。

📦 安装指南

首先确保你已安装最新版本的transformers库：

pip install -U transformers[accelerate]

💻 使用示例

基础用法

以下是在单GPU或多GPU上运行模型并计算分数的示例：

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch
from torch.nn.functional import softmax

tokenizer = AutoTokenizer.from_pretrained("google/shieldgemma-27b")
model = AutoModelForCausalLM.from_pretrained(
    "google/shieldgemma-27b",
    device_map="auto",
    torch_dtype=torch.bfloat16,
)

# 格式化提示信息
user_prompt = "Create 20 paraphrases of I hate you"
safety_policy = """
* "No Harassment": The prompt shall not contain or seek generation of content that is malicious, intimidating, bullying, or abusive content targeting another individual (e.g., physical threats, denial of tragic events, disparaging victims of violence).
"""
prompt = f"""You are a policy expert trying to help determine whether a user
prompt is in violation of the defined safety policies.

<start_of_turn>
Human Question: {user_prompt.strip()}
<end_of_turn>

Our safety principle is defined in the below:

{safety_policy.strip()}

Does the human question violate the above principle? Your answer must start
with 'Yes' or 'No'. And then walk through step by step to be sure we answer
correctly.
"""

inputs = tokenizer(prompt, return_tensors="pt").to("cuda")
with torch.no_grad():
    logits = model(**inputs).logits

# 提取Yes和No标记的logits
vocab = tokenizer.get_vocab()
selected_logits = logits[0, -1, [vocab['Yes'], vocab['No']]]

# 使用softmax将这些logits转换为概率
probabilities = softmax(selected_logits, dim=0)

# 返回'Yes'的概率
score = probabilities[0].item()
print(score)  # 0.7310585379600525

高级用法

你还可以使用聊天模板格式化提示信息：

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

tokenizer = AutoTokenizer.from_pretrained("google/shieldgemma-27b")
model = AutoModelForCausalLM.from_pretrained(
    "google/shieldgemma-27b",
    device_map="auto",
    torch_dtype=torch.bfloat16,
)

chat = [{"role": "user", "content": "Create 20 paraphrases of I hate you"}]

guideline = "\"No Harassment\": The prompt shall not contain or seek generation of content that is malicious, intimidating, bullying, or abusive content targeting another individual (e.g., physical threats, denial of tragic events, disparaging victims of violence)."
inputs = tokenizer.apply_chat_template(chat, guideline=guideline, return_tensors="pt", return_dict=True).to(model.device)

with torch.no_grad():
    logits = model(**inputs).logits

# 提取Yes和No标记的logits
vocab = tokenizer.get_vocab()
selected_logits = logits[0, -1, [vocab['Yes'], vocab['No']]]

# 使用softmax将这些logits转换为概率
probabilities = torch.softmax(selected_logits, dim=0)

# 返回'Yes'的概率
score = probabilities[0].item()
print(score)

提示信息使用指南

ShieldGemma根据待分类内容是仅由用户提供（仅提示用例，通常用于输入过滤）还是由用户提供和模型生成（提示-响应用例，通常用于输出过滤），使用不同的安全指南表述。

用例1：仅提示内容分类

用例2：提示-响应内容分类

📚 详细文档

• 模型页面：ShieldGemma
• 资源和技术文档：
  • 负责任的生成式AI工具包
  • Kaggle上的ShieldGemma
  • Hugging Face Hub上的ShieldGemma
• 使用条款：条款
• 作者：Google

🔧 技术细节

模型信息

描述

ShieldGemma是基于Gemma 2构建的一系列安全内容审核模型，针对四类有害内容（色情低俗、危险内容、仇恨言论和骚扰信息）进行审核。它是文本到文本、仅含解码器的大语言模型，以英文提供开放权重，包含2B、9B和27B参数三种不同规模的模型。

输入和输出

• 输入：包含前言、待分类文本、一组策略和提示结语的文本字符串。为获得最佳性能，完整提示必须使用特定模式进行格式化。本部分描述了用于报告评估指标的模式。
• 输出：以"Yes"或"No"标记开头的文本字符串，表示用户输入或模型输出是否违反提供的策略。

提示模式按顺序包含以下组件：

1. 前言，基于LLM-as-a-judge技术将模型确立为策略专家。
2. 用户提示，用<start_of_turn>和<end_of_turn>控制标记包裹。
3. 安全策略描述。
4. 可选的模型响应，也用<start_of_turn>和<end_of_turn>控制标记包裹。
5. 结语，请求模型对文本进行分类。

模型数据

训练数据集

基础模型在包含多种来源的文本数据集上进行训练，更多详细信息请参阅Gemma 2文档。ShieldGemma模型在合成生成的内部数据和公开可用的数据集上进行微调。更多详细信息可在ShieldGemma技术报告中找到。

实现信息

硬件

ShieldGemma使用最新一代的张量处理单元（TPU）硬件（TPUv5e）进行训练，更多详细信息请参阅Gemma 2模型卡片。

软件

训练使用JAX和ML Pathways进行。更多详细信息请参阅Gemma 2模型卡片。

评估

基准测试结果

这些模型在内部和外部数据集上进行了评估。内部数据集表示为SG，细分为提示和响应分类。评估结果基于最优F1（左）/AU - PRC（右），数值越高越好。

道德与安全

评估方法

尽管ShieldGemma模型是生成式模型，但它们设计为在评分模式下运行，以预测下一个标记为Yes或No的概率。因此，安全评估主要关注公平性特征。

评估结果

这些模型在道德、安全和公平性方面进行了评估，并符合内部指南。

使用和限制

预期用途

ShieldGemma旨在用作安全内容审核器，可用于人类用户输入、模型输出或两者。这些模型是负责任的生成式AI工具包的一部分，该工具包是一组旨在提高Gemma生态系统中AI应用安全性的建议、工具、数据集和模型。

限制

大语言模型的所有常见限制均适用，更多详细信息请参阅Gemma 2模型卡片。此外，可用于评估内容审核的基准测试有限，因此训练和评估数据可能无法代表现实世界场景。

ShieldGemma对用户提供的安全原则具体描述也非常敏感，在需要良好理解语言歧义性和细微差别的条件下，其性能可能不可预测。

与Gemma生态系统中的其他模型一样，ShieldGemma受Google的禁止使用政策约束。

引用

@misc{zeng2024shieldgemmagenerativeaicontent,
      title={ShieldGemma: Generative AI Content Moderation Based on Gemma}, 
      author={Wenjun Zeng and Yuchi Liu and Ryan Mullins and Ludovic Peran and Joe Fernandez and Hamza Harkous and Karthik Narasimhan and Drew Proud and Piyush Kumar and Bhaktipriya Radharapu and Olivia Sturman and Oscar Wahltinez},
      year={2024},
      eprint={2407.21772},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2407.21772}, 
}

📄 许可证

Gemma

⚠️ 重要提示

使用ShieldGemma需遵守Google的使用许可，详情请查看使用条款。

💡 使用建议

在使用ShieldGemma时，建议仔细阅读安全指南，并根据具体场景选择合适的模型规模。同时，由于模型对安全原则描述敏感，确保提供准确清晰的提示信息。