Toxdect Roberta Large

🚀 有毒語言檢測

這是一個基於推文訓練的有毒語言檢測模型，能有效識別文本中的有毒語言。基礎模型採用了 Roberta-large，為語言檢測提供了強大的支持。

🚀 快速開始

使用該模型進行有毒語言檢測非常簡單。以下是一個基本的使用示例，請注意，在輸出中LABEL_1表示有毒，LABEL_0表示無毒。

基礎用法

from transformers import pipeline
classifier = pipeline("text-classification",model='Xuhui/ToxDect-roberta-large', return_all_scores=True)
prediction = classifier("You are f**king stupid!", )
print(prediction)

"""
Output:
[[{'label': 'LABEL_0', 'score': 0.002632011892274022}, {'label': 'LABEL_1', 'score': 0.9973680377006531}]]
"""

✨ 主要特性

• 基於推文數據訓練，能更好地適應社交媒體等場景下的語言檢測。
• 採用 Roberta-large 作為基礎模型，具有較強的語言理解和分類能力。

📚 詳細文檔

模型描述

這是一個在推文上訓練的有毒語言檢測模型，基礎模型為 Roberta-large。如需瞭解更多信息，包括訓練數據、侷限性和偏差，請參考 論文 和 Github 倉庫。

訓練過程

該模型的隨機種子為 22。其他詳細信息請參考 Github 倉庫。

BibTeX 引用和引用信息

@inproceedings{zhou-etal-2020-debiasing,
  title = {Challenges in Automated Debiasing for Toxic Language Detection},
  author = {Zhou, Xuhui and Sap, Maarten and Swayamdipta, Swabha and Choi, Yejin and Smith, Noah A.},
  booktitle = {EACL},
  abbr = {EACL},
  html = {https://www.aclweb.org/anthology/2021.eacl-main.274.pdf},
  code = {https://github.com/XuhuiZhou/Toxic_Debias},
  year = {2021},
  bibtex_show = {true},
  selected = {true}
}

📄 許可證

文檔中未提及許可證相關信息。