Deberta V3 Large Mlm Reddit Gab

🚀 トランスフォーマーモデル

このモデルは、EDOS Shared Taskに対するMilaNLPソリューションの一部としてトレーニングされ、公開されています。詳細については、論文 MilaNLP at SemEval-2023 Task 10: Ensembling Domain-Adapted and Regularized Pretrained Language Models for Robust Sexism Detection を参照してください。

📚 ドキュメント

適応詳細

我々は、タスク主催者によって提供されたラベルなしのRedditコーパス（100万投稿）（Kirk et al., 2023）とGab Hate Corpus（87,000投稿）（Kennedy et al., 2022）に対して、標準的なMLMを用いて 事前学習済みのDeBERTa のドメイン適応を実行しました。2つのデータセットを連結してシャッフルした後、データソースを層別化して5%を検証データとして取り分けました。最終的なトレーニングデータセットは約2000万語でした。

完全な詳細については、論文を参照してください。

引用

このモデルを使用する場合は、以下を引用することを検討してください。

@inproceedings{cercas-curry-etal-2023-milanlp,
    title = "{M}ila{NLP} at {S}em{E}val-2023 Task 10: Ensembling Domain-Adapted and Regularized Pretrained Language Models for Robust Sexism Detection",
    author = "Cercas Curry, Amanda  and
      Attanasio, Giuseppe  and
      Nozza, Debora  and
      Hovy, Dirk",
    booktitle = "Proceedings of the 17th International Workshop on Semantic Evaluation (SemEval-2023)",
    month = jul,
    year = "2023",
    address = "Toronto, Canada",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2023.semeval-1.285",
    doi = "10.18653/v1/2023.semeval-1.285",
    pages = "2067--2074",
    abstract = "We present the system proposed by the MilaNLP team for the Explainable Detection of Online Sexism (EDOS) shared task.We propose an ensemble modeling approach to combine different classifiers trained with domain adaptation objectives and standard fine-tuning.Our results show that the ensemble is more robust than individual models and that regularized models generate more {``}conservative{''} predictions, mitigating the effects of lexical overfitting.However, our error analysis also finds that many of the misclassified instances are debatable, raising questions about the objective annotatability of hate speech data.",
}

📄 ライセンス

このモデルは、Apache-2.0ライセンスの下で提供されています。