Shieldgemma 9b

🚀 ShieldGemma模型卡片

ShieldGemma是基于Gemma 2构建的一系列安全内容审核模型，可针对四类有害内容（色情、危险内容、仇恨言论和骚扰）进行审核。它是仅解码器的大语言模型，以英文提供开放权重，有2B、9B和27B参数三种不同规模的模型。

🚀 快速开始

安装

首先确保你已经安装了transformers库，你可以使用以下命令进行安装：

pip install -U transformers[accelerate]

运行模型

以下是在单GPU或多GPU上运行模型并计算分数的示例代码：

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

tokenizer = AutoTokenizer.from_pretrained("google/shieldgemma-9b")
model = AutoModelForCausalLM.from_pretrained(
    "google/shieldgemma-9b",
    device_map="auto",
    torch_dtype=torch.bfloat16,
)

# 格式化提示
user_prompt = "Create 20 paraphrases of I hate you"
safety_policy = """
* "No Harassment": The prompt shall not contain or seek generation of content that is malicious, intimidating, bullying, or abusive content targeting another individual (e.g., physical threats, denial of tragic events, disparaging victims of violence).
"""
prompt = f"""You are a policy expert trying to help determine whether a user
prompt is in violation of the defined safety policies.

<start_of_turn>
Human Question: {user_prompt.strip()}
<end_of_turn>

Our safety principle is defined in the below:

{safety_policy.strip()}

Does the human question violate the above principle? Your answer must start
with 'Yes' or 'No'. And then walk through step by step to be sure we answer
correctly.
"""

inputs = tokenizer(prompt, return_tensors="pt").to("cuda")
with torch.no_grad():
  logits = model(**inputs).logits

# 提取Yes和No标记的对数几率
vocab = tokenizer.get_vocab()
selected_logits = logits[0, -1, [vocab['Yes'], vocab['No']]]

# 使用softmax将这些对数几率转换为概率
probabilities = torch.softmax(selected_logits, dim=0)

# 返回Yes的概率
score = probabilities[0].item()
print(score)  # 0.7310585379600525

使用聊天模板

你也可以使用聊天模板来格式化输入提示，示例代码如下：

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

tokenizer = AutoTokenizer.from_pretrained("google/shieldgemma-9b")
model = AutoModelForCausalLM.from_pretrained(
    "google/shieldgemma-9b",
    device_map="auto",
    torch_dtype=torch.bfloat16,
)

chat = [{"role": "user", "content": "Create 20 paraphrases of I hate you"}]

guideline = "\"No Harassment\": The prompt shall not contain or seek generation of content that is malicious, intimidating, bullying, or abusive content targeting another individual (e.g., physical threats, denial of tragic events, disparaging victims of violence)."
inputs = tokenizer.apply_chat_template(chat, guideline=guideline, return_tensors="pt", return_dict=True).to(model.device)

with torch.no_grad():
  logits = model(**inputs).logits

# 提取Yes和No标记的对数几率
vocab = tokenizer.get_vocab()
selected_logits = logits[0, -1, [vocab['Yes'], vocab['No']]]

# 使用softmax将这些对数几率转换为概率
probabilities = torch.softmax(selected_logits, dim=0)

# 返回Yes的概率
score = probabilities[0].item()
print(score)

✨ 主要特性

• 多类别审核：能够针对色情、危险内容、仇恨言论和骚扰四类有害内容进行审核。
• 开放权重：以英文提供开放权重，方便用户使用和研究。
• 多种规模可选：提供2B、9B和27B参数三种不同规模的模型，满足不同需求。

📚 详细文档

模型信息

描述

ShieldGemma是基于Gemma 2构建的一系列安全内容审核模型，目标是检测四类有害内容：色情、危险内容、仇恨言论和骚扰。它是仅解码器的大语言模型，以英文提供开放权重，有2B、9B和27B参数三种不同规模的模型。

输入和输出

• 输入：包含前言、待分类文本、一组策略和提示结语的文本字符串。完整的提示必须使用特定模式进行格式化，以获得最佳性能。
• 输出：以"Yes"或"No"开头的文本字符串，表示用户输入或模型输出是否违反了提供的策略。

模型数据

训练数据集

基础模型在包含各种来源的文本数据集上进行训练，更多详细信息请参考Gemma 2文档。ShieldGemma模型在合成生成的内部数据和公开可用的数据集上进行微调，更多详细信息可在ShieldGemma技术报告中找到。

实现信息

硬件

ShieldGemma使用最新一代的张量处理单元（TPU）硬件（TPUv5e）进行训练，更多详细信息请参考Gemma 2模型卡片。

软件

训练使用JAX和ML Pathways进行，更多详细信息请参考Gemma 2模型卡片。

评估

基准测试结果

这些模型在内部和外部数据集上进行了评估。内部数据集标记为SG，细分为提示和响应分类。评估结果基于最优F1（左）/AU - PRC（右），数值越高越好。

伦理和安全

评估方法

尽管ShieldGemma模型是生成式模型，但它们被设计为在评分模式下运行，以预测下一个标记为"Yes"或"No"的概率。因此，安全评估主要集中在公平性特征上。

评估结果

这些模型在伦理、安全和公平性方面进行了评估，并符合内部准则。

使用和限制

预期用途

ShieldGemma旨在用作安全内容审核器，可用于人类用户输入、模型输出或两者。这些模型是负责任的生成式AI工具包的一部分，该工具包是一套旨在提高Gemma生态系统中AI应用安全性的建议、工具、数据集和模型。

限制

• 大语言模型的常见限制同样适用于ShieldGemma，更多详细信息请参考Gemma 2模型卡片。
• 可用于评估内容审核的基准测试有限，因此训练和评估数据可能无法代表现实世界的场景。
• ShieldGemma对用户提供的安全原则的具体描述非常敏感，在需要良好理解语言歧义性和细微差别的情况下，其性能可能不可预测。
• 与Gemma生态系统中的其他模型一样，ShieldGemma受Google的禁止使用政策约束。

伦理考虑和风险

大语言模型（LLM）的开发引发了一些伦理问题。在开发这些模型时，我们已经仔细考虑了多个方面。更多详细信息请参考Gemma模型卡片。

优点

在发布时，与同等规模的模型相比，这一系列模型提供了高性能的开放大语言模型实现，专为负责任的AI开发而设计。使用本文档中描述的基准评估指标，这些模型已被证明比其他同等规模的开放模型替代方案具有更优越的性能。

🔧 技术细节

提示模式

ShieldGemma根据被分类的内容是仅用户提供的内容（仅提示用例，通常用于输入过滤）还是用户提供的内容和模型生成的内容（提示 - 响应用例，通常用于输出过滤），使用不同的安全指南表述。

用例1：仅提示内容分类

用例2：提示 - 响应内容分类

引用

@misc{zeng2024shieldgemmagenerativeaicontent,
      title={ShieldGemma: Generative AI Content Moderation Based on Gemma}, 
      author={Wenjun Zeng and Yuchi Liu and Ryan Mullins and Ludovic Peran and Joe Fernandez and Hamza Harkous and Karthik Narasimhan and Drew Proud and Piyush Kumar and Bhaktipriya Radharapu and Olivia Sturman and Oscar Wahltinez},
      year={2024},
      eprint={2407.21772},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2407.21772}, 
}

📄 许可证

本模型使用Gemma许可证，如需在Hugging Face上访问Gemma，你需要审查并同意Google的使用许可。请确保你已登录Hugging Face并点击下方按钮，请求将立即处理。 点击确认许可

其他信息

模型页面

ShieldGemma

资源和技术文档

• 负责任的生成式AI工具包
• Kaggle上的ShieldGemma
• Hugging Face Hub上的ShieldGemma

使用条款

条款

作者

Google