Bloomz 3b Guardrail

🚀 Bloomz-3b-guardrail

このBloomz-3b-guardrailモデルは、Bloomz-3b-sft-chatモデルをファインチューニングしたものです。このモデルは、テキストの毒性を5つのモードで検出するように設計されています。

• 猥褻な内容（Obscene）：社会的規範や良識の基準に照らして、不快感を与える、不適切な、または道徳的に不適切な内容。
• 性的露骨な内容（Sexual explicit）：性的な側面を明確かつ詳細に表現した内容。
• アイデンティティ攻撃（Identity attack）：人のアイデンティティ、特に人種、性別、性的指向、宗教、民族出身などの特性に基づいて、攻撃、中傷、または嫌がらせを目的とした内容。
• 侮辱（Insult）：人を攻撃または中傷するために使用される、不快感を与える、失礼な、または傷つける内容。
• 脅威（Threat）：個人に対する直接的な脅威を表す内容。

このようなモデリングは、生成モデルの出力の監視と制御、および生成された毒性の程度を測定するのに最適です。

✨ 主な機能

このモデルは、テキストの毒性を5つのモードで検出することができます。それぞれのモードは、特定のタイプの毒性をカバーしており、生成モデルの出力を監視し、毒性の程度を測定するのに役立ちます。

📦 インストール

このREADMEには具体的なインストール手順が記載されていないため、このセクションをスキップします。

💻 使用例

基本的な使用法

from transformers import pipeline

guardrail = pipeline("text-classification", "cmarkea/bloomz-3b-guardrail")

list_text: List[str] = [...]
result = guardrail(
    list_text,
    return_all_scores=True, # Crucial for assessing all modalities of toxicity!
    function_to_apply='sigmoid' # To ensure obtaining a score between 0 and 1!
)

📚 ドキュメント

トレーニング

トレーニングデータセットは、50万件の英語のコメントと、Google翻訳によって翻訳された50万件のフランス語のコメントから構成されています。それぞれのコメントには、毒性の重症度の確率が付与されています。使用されたデータセットは、Kaggleコンペティション「Jigsaw Unintended Bias in Toxicity Classification」の一部として、Jigsawによって提供されています。スコアは毒性モードの確率を表すため、交差エントロピー型の最適化目標が選択されました。 $$loss=l_{\mathrm{obscene}}+l_{\mathrm{sexual_explicit}}+l_{\mathrm{identity_attack}}+l_{\mathrm{insult}}+l_{\mathrm{threat}}$$ ここで、 $$l_i=\frac{-1}{\vert\mathcal{O}\vert}\sum_{o\in\mathcal{O}}\mathrm{score}{i,o}\log(\sigma(\mathrm{logit}{i,o}))+(\mathrm{score}{i,o}-1)\log(1-\sigma(\mathrm{logit}{i,o}))$$ ただし、$\sigma$はシグモイド関数で、$\mathcal{O}$は学習観測値の集合を表します。

ベンチマーク

ピアソンの相互相関が評価指標として選択されました。ピアソンの相互相関は、-1から1までの値をとる指標で、0は相関がないことを、-1は完全な負の相関を、1は完全な正の相関を表します。目標は、トレーニング中に見られなかった730件のコメントに対するモデルのスコアと審査員によって割り当てられたスコアとの相関を定量的に測定することです。

560mモデルでは約65、3bモデルでは約80の相関があり、出力は審査員のスコアと高度に相関しています。

異なるモードの最大値を選択すると、元のデータセットの目標毒性に非常に近いスコアが得られ、相関は0.976、平均絶対誤差は0.013±0.04です。したがって、このアプローチは、レアな毒性モードを超えて、モデルの全体的なパフォーマンスを評価するための堅牢な近似として機能します。毒性閾値を0.5以上として目標を作成すると、730件の観測値のうち240件が陽性となります。そのため、Precision-Recall AUC、ROC AUC、正解率、およびF1スコアを決定します。

🔧 技術詳細

このモデルは、Bloomz-3b-sft-chatモデルをファインチューニングして作成されています。トレーニングデータセットは、英語とフランス語のコメントから構成され、それぞれに毒性の重症度の確率が付与されています。最適化目標として交差エントロピー型の損失関数が使用されています。

📄 ライセンス

このモデルは、bigscience-bloom-rail-1.0ライセンスの下で提供されています。

📖 引用

@online{DeBloomzGuard,
  AUTHOR = {Cyrile Delestre},
  ORGANIZATION = {Cr{\'e}dit Mutuel Ark{\'e}a},
  URL = {https://huggingface.co/cmarkea/bloomz-3b-guardrail},
  YEAR = {2023},
  KEYWORDS = {NLP ; Transformers ; LLM ; Bloomz},
}