Gpt2 Base Gedi Detoxification

🚀 条件付きテキスト生成モデル

これは条件付き言語モデルで、テキストの脱毒化などの関連タスクを解決することを目的としています。異なるモデルの長所を組み合わせ、特定のデータセットで微調整することで、テキスト処理に新しい解決策を提供します。

🚀 クイックスタート

このモデルの使用例と訓練コードは、以下のリンクを参照してください：https://github.com/skoltech-nlp/detox 。

✨ 主な機能

• gpt2-medium をベースに構築されていますが、t5-base の語彙を使用しています。これにより、t5-paranmt-detox のような T5 ベースの言い換え器と互換性があります。
• toxic と normal の 2 種類のスタイルの条件付きテキスト生成をサポートしています。
• Jigsaw toxic comment classification challenge データセットで微調整されています。

📚 ドキュメント

モデルの説明

用途

このモデルは、ParaGeDi 手法に基づくテキスト脱毒化プロセスの判別器として使用することを目的としています（詳細は 論文 を参照）。有毒または無毒なスタイルに基づくテキスト生成にも使用できますが、毒性以外の要素を条件付ける方法が不明なため、このような使用はお勧めしません。また、このモデルは毒性分類器としても使用できます（ベイズ規則を使用）が、BERT ベースの標準分類器よりも性能が優れるとは期待できません。

バイアス、リスク、制限事項

このモデルは、親モデル gpt2-medium のすべてのリスクと、微調整に使用された Jigsaw データセット のすべてのバイアスを引き継いでいます。モデルはスタイルに基づいて条件付けることを目的としていますが、実際にはスタイルと内容の概念を明確に区別していないため、テキストの主題やキーワードに基づいて毒性を判断する可能性があります。

訓練の詳細

訓練の詳細は、論文 Text Detoxification using Large Pre-trained Neural Models と 関連コード を参照してください。

評価

このモデルは個別に評価されておらず、ParaGeDi テキスト脱毒化プロセスの一部としてのみ評価されています（論文 を参照）。

引用

BibTeX:

@inproceedings{dale-etal-2021-text,
    title = "Text Detoxification using Large Pre-trained Neural Models",
    author = "Dale, David  and
      Voronov, Anton  and
      Dementieva, Daryna  and
      Logacheva, Varvara  and
      Kozlova, Olga  and
      Semenov, Nikita  and
      Panchenko, Alexander",
    booktitle = "Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing",
    month = nov,
    year = "2021",
    address = "Online and Punta Cana, Dominican Republic",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2021.emnlp-main.629",
    pages = "7979--7996",
}