Gpt2 Base Gedi Detoxification

🚀 條件文本生成模型

這是一個條件語言模型，旨在解決文本去毒化等相關任務。它結合了不同模型的優勢，在特定數據集上進行微調，為文本處理提供了新的解決方案。

🚀 快速開始

本模型的使用示例和訓練代碼可參考：https://github.com/skoltech-nlp/detox 。

✨ 主要特性

• 基於 gpt2-medium 構建，但採用了 t5-base 的詞彙表，以兼容基於 T5 的釋義器，如 t5-paranmt-detox。
• 支持 toxic 和 normal 兩種風格的條件文本生成。
• 在 Jigsaw toxic comment classification challenge 數據集上進行了微調。

📚 詳細文檔

模型描述

用途

本模型旨在作為基於 ParaGeDi 方法的文本去毒化流程中的判別器（更多詳情見 論文）。它也可用於基於有毒或無毒風格的文本生成，但由於不清楚如何對除毒性之外的其他因素進行條件設置，不建議這樣使用。此外，該模型還可作為毒性分類器（使用貝葉斯規則），但預計其性能不會優於基於 BERT 的標準分類器。

偏差、風險和侷限性

本模型繼承了其父模型 gpt2-medium 的所有風險，以及微調所用的 Jigsaw 數據集 的所有偏差。模型雖旨在基於風格進行條件設置，但實際上並未明確區分風格和內容的概念，因此可能會根據文本的主題或關鍵詞而非風格來判斷其是否有毒。

訓練詳情

訓練詳情可參考論文 Text Detoxification using Large Pre-trained Neural Models 和 相關代碼。

評估

該模型未單獨進行評估，僅作為 ParaGeDi 文本去毒化流程的一部分進行了評估（見 論文）。

引用

BibTeX:

@inproceedings{dale-etal-2021-text,
    title = "Text Detoxification using Large Pre-trained Neural Models",
    author = "Dale, David  and
      Voronov, Anton  and
      Dementieva, Daryna  and
      Logacheva, Varvara  and
      Kozlova, Olga  and
      Semenov, Nikita  and
      Panchenko, Alexander",
    booktitle = "Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing",
    month = nov,
    year = "2021",
    address = "Online and Punta Cana, Dominican Republic",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2021.emnlp-main.629",
    pages = "7979--7996",
}