Bloomz 3b Guardrail

🚀 Bloomz-3b-guardrail模型

Bloomz-3b-guardrail是一款文本分類模型，它基於Bloomz-3b-sft-chat模型進行微調。該模型旨在以五種模式檢測文本的毒性，可用於監控和控制生成模型的輸出，以及衡量生成內容的毒性程度。

✨ 主要特性

Bloomz-3b-guardrail模型能夠檢測文本在以下五種模式下的毒性：

• 淫穢內容（Obscene）：冒犯性、不適當或道德上不合適的內容，尤其違反社會規範或道德標準。
• 色情明示內容（Sexual explicit）：清晰詳細地呈現性方面的內容。
• 身份攻擊（Identity attack）：基於個人身份特徵（如種族、性別、性取向、宗教、民族等）對他人進行攻擊、詆譭或騷擾的內容。
• 侮辱（Insult）：用於攻擊或詆譭他人的冒犯性、不尊重或傷人的內容。
• 威脅（Threat）：對個人構成直接威脅的內容。

📦 安裝指南

文檔未提及安裝步驟，故跳過此章節。

💻 使用示例

基礎用法

from transformers import pipeline

guardrail = pipeline("text-classification", "cmarkea/bloomz-3b-guardrail")

list_text: List[str] = [...]
result = guardrail(
    list_text,
    return_all_scores=True, # Crucial for assessing all modalities of toxicity!
    function_to_apply='sigmoid' # To ensure obtaining a score between 0 and 1!
)

📚 詳細文檔

訓練情況

• 訓練數據集：訓練數據集包含500k條英文評論和500k條法文評論（由谷歌翻譯翻譯），每條評論都標註了毒性嚴重程度的概率。該數據集由Jigsaw提供，作為Kaggle競賽Jigsaw Unintended Bias in Toxicity Classification的一部分。
• 優化目標：由於分數代表毒性模式的概率，因此選擇了交叉熵類型的優化目標： $$loss=l_{\mathrm{obscene}}+l_{\mathrm{sexual_explicit}}+l_{\mathrm{identity_attack}}+l_{\mathrm{insult}}+l_{\mathrm{threat}}$$ 其中 $$l_i=\frac{-1}{\vert\mathcal{O}\vert}\sum_{o\in\mathcal{O}}\mathrm{score}{i,o}\log(\sigma(\mathrm{logit}{i,o}))+(\mathrm{score}{i,o}-1)\log(1-\sigma(\mathrm{logit}{i,o}))$$ 這裡$\sigma$是sigmoid函數，$\mathcal{O}$表示學習觀測集。

基準測試

皮爾遜相關性

選擇皮爾遜互相關性作為衡量指標，該指標範圍從 -1 到 1，0 表示無相關性，-1 表示完全負相關，1 表示完全正相關。目標是定量衡量模型分數與評委對730條訓練中未見過的評論所分配分數之間的相關性。

560m模型的相關性約為65，3b模型的相關性約為80，模型輸出與評委分數高度相關。

其他指標

選擇不同模式的最大值得到的分數與原始數據集的目標毒性非常接近，相關性為0.976，平均絕對誤差為0.013±0.04。因此，這種方法可以作為評估模型整體性能的可靠近似，超越了罕見的毒性模式。以毒性閾值 ≥ 0.5 來創建目標，在730個觀測值中有240個正例。因此，將確定精確率 - 召回率曲線下面積（PR AUC）、受試者工作特徵曲線下面積（ROC AUC）、準確率和F1分數。

🔧 技術細節

該模型基於Bloomz-3b-sft-chat進行微調，使用特定的訓練數據集和優化目標，通過基準測試中的多種指標來評估模型性能。

📄 許可證

本模型使用的許可證為：bigscience-bloom-rail-1.0

📖 引用

@online{DeBloomzGuard,
  AUTHOR = {Cyrile Delestre},
  ORGANIZATION = {Cr{\'e}dit Mutuel Ark{\'e}a},
  URL = {https://huggingface.co/cmarkea/bloomz-3b-guardrail},
  YEAR = {2023},
  KEYWORDS = {NLP ; Transformers ; LLM ; Bloomz},
}