Bloomz 3b Guardrail

🚀 Bloomz-3b-guardrail模型

Bloomz-3b-guardrail是一款文本分类模型，它基于Bloomz-3b-sft-chat模型进行微调。该模型旨在以五种模式检测文本的毒性，可用于监控和控制生成模型的输出，以及衡量生成内容的毒性程度。

✨ 主要特性

Bloomz-3b-guardrail模型能够检测文本在以下五种模式下的毒性：

• 淫秽内容（Obscene）：冒犯性、不适当或道德上不合适的内容，尤其违反社会规范或道德标准。
• 色情明示内容（Sexual explicit）：清晰详细地呈现性方面的内容。
• 身份攻击（Identity attack）：基于个人身份特征（如种族、性别、性取向、宗教、民族等）对他人进行攻击、诋毁或骚扰的内容。
• 侮辱（Insult）：用于攻击或诋毁他人的冒犯性、不尊重或伤人的内容。
• 威胁（Threat）：对个人构成直接威胁的内容。

📦 安装指南

文档未提及安装步骤，故跳过此章节。

💻 使用示例

基础用法

from transformers import pipeline

guardrail = pipeline("text-classification", "cmarkea/bloomz-3b-guardrail")

list_text: List[str] = [...]
result = guardrail(
    list_text,
    return_all_scores=True, # Crucial for assessing all modalities of toxicity!
    function_to_apply='sigmoid' # To ensure obtaining a score between 0 and 1!
)

📚 详细文档

训练情况

• 训练数据集：训练数据集包含500k条英文评论和500k条法文评论（由谷歌翻译翻译），每条评论都标注了毒性严重程度的概率。该数据集由Jigsaw提供，作为Kaggle竞赛Jigsaw Unintended Bias in Toxicity Classification的一部分。
• 优化目标：由于分数代表毒性模式的概率，因此选择了交叉熵类型的优化目标： $$loss=l_{\mathrm{obscene}}+l_{\mathrm{sexual_explicit}}+l_{\mathrm{identity_attack}}+l_{\mathrm{insult}}+l_{\mathrm{threat}}$$ 其中 $$l_i=\frac{-1}{\vert\mathcal{O}\vert}\sum_{o\in\mathcal{O}}\mathrm{score}{i,o}\log(\sigma(\mathrm{logit}{i,o}))+(\mathrm{score}{i,o}-1)\log(1-\sigma(\mathrm{logit}{i,o}))$$ 这里$\sigma$是sigmoid函数，$\mathcal{O}$表示学习观测集。

基准测试

皮尔逊相关性

选择皮尔逊互相关性作为衡量指标，该指标范围从 -1 到 1，0 表示无相关性，-1 表示完全负相关，1 表示完全正相关。目标是定量衡量模型分数与评委对730条训练中未见过的评论所分配分数之间的相关性。

560m模型的相关性约为65，3b模型的相关性约为80，模型输出与评委分数高度相关。

其他指标

选择不同模式的最大值得到的分数与原始数据集的目标毒性非常接近，相关性为0.976，平均绝对误差为0.013±0.04。因此，这种方法可以作为评估模型整体性能的可靠近似，超越了罕见的毒性模式。以毒性阈值 ≥ 0.5 来创建目标，在730个观测值中有240个正例。因此，将确定精确率 - 召回率曲线下面积（PR AUC）、受试者工作特征曲线下面积（ROC AUC）、准确率和F1分数。

🔧 技术细节

该模型基于Bloomz-3b-sft-chat进行微调，使用特定的训练数据集和优化目标，通过基准测试中的多种指标来评估模型性能。

📄 许可证

本模型使用的许可证为：bigscience-bloom-rail-1.0

📖 引用

@online{DeBloomzGuard,
  AUTHOR = {Cyrile Delestre},
  ORGANIZATION = {Cr{\'e}dit Mutuel Ark{\'e}a},
  URL = {https://huggingface.co/cmarkea/bloomz-3b-guardrail},
  YEAR = {2023},
  KEYWORDS = {NLP ; Transformers ; LLM ; Bloomz},
}