Gpt2 Base Gedi Detoxification

🚀 条件文本生成模型

这是一个条件语言模型，旨在解决文本去毒化等相关任务。它结合了不同模型的优势，在特定数据集上进行微调，为文本处理提供了新的解决方案。

🚀 快速开始

本模型的使用示例和训练代码可参考：https://github.com/skoltech-nlp/detox 。

✨ 主要特性

• 基于 gpt2-medium 构建，但采用了 t5-base 的词汇表，以兼容基于 T5 的释义器，如 t5-paranmt-detox。
• 支持 toxic 和 normal 两种风格的条件文本生成。
• 在 Jigsaw toxic comment classification challenge 数据集上进行了微调。

📚 详细文档

模型描述

用途

本模型旨在作为基于 ParaGeDi 方法的文本去毒化流程中的判别器（更多详情见 论文）。它也可用于基于有毒或无毒风格的文本生成，但由于不清楚如何对除毒性之外的其他因素进行条件设置，不建议这样使用。此外，该模型还可作为毒性分类器（使用贝叶斯规则），但预计其性能不会优于基于 BERT 的标准分类器。

偏差、风险和局限性

本模型继承了其父模型 gpt2-medium 的所有风险，以及微调所用的 Jigsaw 数据集 的所有偏差。模型虽旨在基于风格进行条件设置，但实际上并未明确区分风格和内容的概念，因此可能会根据文本的主题或关键词而非风格来判断其是否有毒。

训练详情

训练详情可参考论文 Text Detoxification using Large Pre-trained Neural Models 和 相关代码。

评估

该模型未单独进行评估，仅作为 ParaGeDi 文本去毒化流程的一部分进行了评估（见 论文）。

引用

BibTeX:

@inproceedings{dale-etal-2021-text,
    title = "Text Detoxification using Large Pre-trained Neural Models",
    author = "Dale, David  and
      Voronov, Anton  and
      Dementieva, Daryna  and
      Logacheva, Varvara  and
      Kozlova, Olga  and
      Semenov, Nikita  and
      Panchenko, Alexander",
    booktitle = "Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing",
    month = nov,
    year = "2021",
    address = "Online and Punta Cana, Dominican Republic",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2021.emnlp-main.629",
    pages = "7979--7996",
}