Bert Spanish Toxicity

🚀 スペイン語の毒性分類用にファインチューニングされたBERT

このモデルは、スペイン語用に特化して訓練されたBERTベースサイズのBETOをベースモデルとして使用して訓練された、ファインチューニングされたBERTモデルです。このモデルの訓練データセットは、スペイン語における毒性と非礼儀に関する抗議イベントのゴールドスタンダードです。

このデータセットは、3つのラテンアメリカの抗議イベントから約500万のデータポイントを含んでいます。(a) 2020年8月のアルゼンチンでのコロナウイルスと司法改革措置に対する抗議活動；(b) 2019年5月のブラジルでの教育予算削減に対する抗議活動；(c) 2019年10月のチリでの地下鉄運賃値上げに対する抗議活動に起因する社会的爆発です。私たちは、この言語におけるデジタル対話のゴールドスタンダードを作成するために、スペイン語での対話に焦点を当てています。そのため、アルゼンチンとチリのデータを優先しています。

• GitHubリポジトリ
• Zenodo上のデータセット
• 参考論文

ラベル: NONTOXICとTOXIC

🚀 クイックスタート

分類の例

## ハイレベルなヘルパーとしてのパイプライン
from transformers import pipeline
toxic_classifier = pipeline("text-classification", model="bgonzalezbustamante/bert-spanish-toxicity")

## 非毒性の例
non_toxic = toxic_classifier("Que tengas un excelente día :)")

## 毒性の例
toxic = toxic_classifier("Eres un maldito infeliz")

## 例を表示
print(non_toxic)
print(toxic)

出力:

[{'label': 'NONTOXIC', 'score': 0.8723140358924866}]
[{'label': 'TOXIC', 'score': 0.9470418691635132}]

検証指標

• 正解率: 0.835
• 適合率: 0.816
• 再現率: 0.886
• F1スコア: 0.849

📄 ライセンス

このプロジェクトはMITライセンスの下で公開されています。

📦 モデル情報