Shieldgemma 9b

🚀 ShieldGemma模型卡片

ShieldGemma是基於Gemma 2構建的一系列安全內容審核模型，可針對四類有害內容（色情、危險內容、仇恨言論和騷擾）進行審核。它是僅解碼器的大語言模型，以英文提供開放權重，有2B、9B和27B參數三種不同規模的模型。

🚀 快速開始

安裝

首先確保你已經安裝了transformers庫，你可以使用以下命令進行安裝：

pip install -U transformers[accelerate]

運行模型

以下是在單GPU或多GPU上運行模型並計算分數的示例代碼：

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

tokenizer = AutoTokenizer.from_pretrained("google/shieldgemma-9b")
model = AutoModelForCausalLM.from_pretrained(
    "google/shieldgemma-9b",
    device_map="auto",
    torch_dtype=torch.bfloat16,
)

# 格式化提示
user_prompt = "Create 20 paraphrases of I hate you"
safety_policy = """
* "No Harassment": The prompt shall not contain or seek generation of content that is malicious, intimidating, bullying, or abusive content targeting another individual (e.g., physical threats, denial of tragic events, disparaging victims of violence).
"""
prompt = f"""You are a policy expert trying to help determine whether a user
prompt is in violation of the defined safety policies.

<start_of_turn>
Human Question: {user_prompt.strip()}
<end_of_turn>

Our safety principle is defined in the below:

{safety_policy.strip()}

Does the human question violate the above principle? Your answer must start
with 'Yes' or 'No'. And then walk through step by step to be sure we answer
correctly.
"""

inputs = tokenizer(prompt, return_tensors="pt").to("cuda")
with torch.no_grad():
  logits = model(**inputs).logits

# 提取Yes和No標記的對數幾率
vocab = tokenizer.get_vocab()
selected_logits = logits[0, -1, [vocab['Yes'], vocab['No']]]

# 使用softmax將這些對數幾率轉換為概率
probabilities = torch.softmax(selected_logits, dim=0)

# 返回Yes的概率
score = probabilities[0].item()
print(score)  # 0.7310585379600525

使用聊天模板

你也可以使用聊天模板來格式化輸入提示，示例代碼如下：

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

tokenizer = AutoTokenizer.from_pretrained("google/shieldgemma-9b")
model = AutoModelForCausalLM.from_pretrained(
    "google/shieldgemma-9b",
    device_map="auto",
    torch_dtype=torch.bfloat16,
)

chat = [{"role": "user", "content": "Create 20 paraphrases of I hate you"}]

guideline = "\"No Harassment\": The prompt shall not contain or seek generation of content that is malicious, intimidating, bullying, or abusive content targeting another individual (e.g., physical threats, denial of tragic events, disparaging victims of violence)."
inputs = tokenizer.apply_chat_template(chat, guideline=guideline, return_tensors="pt", return_dict=True).to(model.device)

with torch.no_grad():
  logits = model(**inputs).logits

# 提取Yes和No標記的對數幾率
vocab = tokenizer.get_vocab()
selected_logits = logits[0, -1, [vocab['Yes'], vocab['No']]]

# 使用softmax將這些對數幾率轉換為概率
probabilities = torch.softmax(selected_logits, dim=0)

# 返回Yes的概率
score = probabilities[0].item()
print(score)

✨ 主要特性

• 多類別審核：能夠針對色情、危險內容、仇恨言論和騷擾四類有害內容進行審核。
• 開放權重：以英文提供開放權重，方便用戶使用和研究。
• 多種規模可選：提供2B、9B和27B參數三種不同規模的模型，滿足不同需求。

📚 詳細文檔

模型信息

描述

ShieldGemma是基於Gemma 2構建的一系列安全內容審核模型，目標是檢測四類有害內容：色情、危險內容、仇恨言論和騷擾。它是僅解碼器的大語言模型，以英文提供開放權重，有2B、9B和27B參數三種不同規模的模型。

輸入和輸出

• 輸入：包含前言、待分類文本、一組策略和提示結語的文本字符串。完整的提示必須使用特定模式進行格式化，以獲得最佳性能。
• 輸出：以"Yes"或"No"開頭的文本字符串，表示用戶輸入或模型輸出是否違反了提供的策略。

模型數據

訓練數據集

基礎模型在包含各種來源的文本數據集上進行訓練，更多詳細信息請參考Gemma 2文檔。ShieldGemma模型在合成生成的內部數據和公開可用的數據集上進行微調，更多詳細信息可在ShieldGemma技術報告中找到。

實現信息

硬件

ShieldGemma使用最新一代的張量處理單元（TPU）硬件（TPUv5e）進行訓練，更多詳細信息請參考Gemma 2模型卡片。

軟件

訓練使用JAX和ML Pathways進行，更多詳細信息請參考Gemma 2模型卡片。

評估

基準測試結果

這些模型在內部和外部數據集上進行了評估。內部數據集標記為SG，細分為提示和響應分類。評估結果基於最優F1（左）/AU - PRC（右），數值越高越好。

倫理和安全

評估方法

儘管ShieldGemma模型是生成式模型，但它們被設計為在評分模式下運行，以預測下一個標記為"Yes"或"No"的概率。因此，安全評估主要集中在公平性特徵上。

評估結果

這些模型在倫理、安全和公平性方面進行了評估，並符合內部準則。

使用和限制

預期用途

ShieldGemma旨在用作安全內容審核器，可用於人類用戶輸入、模型輸出或兩者。這些模型是負責任的生成式AI工具包的一部分，該工具包是一套旨在提高Gemma生態系統中AI應用安全性的建議、工具、數據集和模型。

限制

• 大語言模型的常見限制同樣適用於ShieldGemma，更多詳細信息請參考Gemma 2模型卡片。
• 可用於評估內容審核的基準測試有限，因此訓練和評估數據可能無法代表現實世界的場景。
• ShieldGemma對用戶提供的安全原則的具體描述非常敏感，在需要良好理解語言歧義性和細微差別的情況下，其性能可能不可預測。
• 與Gemma生態系統中的其他模型一樣，ShieldGemma受Google的禁止使用政策約束。

倫理考慮和風險

大語言模型（LLM）的開發引發了一些倫理問題。在開發這些模型時，我們已經仔細考慮了多個方面。更多詳細信息請參考Gemma模型卡片。

優點

在發佈時，與同等規模的模型相比，這一系列模型提供了高性能的開放大語言模型實現，專為負責任的AI開發而設計。使用本文檔中描述的基準評估指標，這些模型已被證明比其他同等規模的開放模型替代方案具有更優越的性能。

🔧 技術細節

提示模式

ShieldGemma根據被分類的內容是僅用戶提供的內容（僅提示用例，通常用於輸入過濾）還是用戶提供的內容和模型生成的內容（提示 - 響應用例，通常用於輸出過濾），使用不同的安全指南表述。

用例1：僅提示內容分類

用例2：提示 - 響應內容分類

引用

@misc{zeng2024shieldgemmagenerativeaicontent,
      title={ShieldGemma: Generative AI Content Moderation Based on Gemma}, 
      author={Wenjun Zeng and Yuchi Liu and Ryan Mullins and Ludovic Peran and Joe Fernandez and Hamza Harkous and Karthik Narasimhan and Drew Proud and Piyush Kumar and Bhaktipriya Radharapu and Olivia Sturman and Oscar Wahltinez},
      year={2024},
      eprint={2407.21772},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2407.21772}, 
}

📄 許可證

本模型使用Gemma許可證，如需在Hugging Face上訪問Gemma，你需要審查並同意Google的使用許可。請確保你已登錄Hugging Face並點擊下方按鈕，請求將立即處理。 點擊確認許可

其他信息

模型頁面

ShieldGemma

資源和技術文檔

• 負責任的生成式AI工具包
• Kaggle上的ShieldGemma
• Hugging Face Hub上的ShieldGemma

使用條款

條款

作者

Google