Robbert Dutch Base Toxic Comments

🚀 RobBERT-dutch-base-toxic-comments

本项目的核心模型旨在检测有毒或潜在有害的评论，借助先进的技术和精心训练，为文本安全提供有力保障。

🚀 快速开始

本模型专为检测有毒或潜在有害评论而创建。 我们在翻译后的 Jigsaw 毒性数据集 上微调了一个基于荷兰语 RobBerta 的模型 RobBERT。 原始数据集使用合适的 MariantMT 模型 进行了翻译。 模型在数据集的 90% 上训练了 2 个周期，使用了以下参数：

training_args = TrainingArguments(
    learning_rate=1e-5,
    per_device_train_batch_size=8,
    per_device_eval_batch_size=8,
    gradient_accumulation_steps=6,
    load_best_model_at_end=True,
    metric_for_best_model="recall",
    epochs=2,
    evaluation_strategy="steps",
    save_strategy="steps",
    save_total_limit=10,
    logging_steps=100,
    eval_steps=250,
    save_steps=250,
    weight_decay=0.001,
    report_to="wandb")

✨ 主要特性

• 语言适配：基于荷兰语 RobBerta 模型，对荷兰语评论的检测更精准。
• 数据支持：在翻译后的 Jigsaw 毒性数据集上进行微调，数据质量有保障。

🔧 技术细节

模型训练

模型在数据集的 90% 上训练了 2 个周期，使用了特定的训练参数，如学习率为 1e - 5，每个设备的训练批次大小为 8 等，以确保模型的性能。

模型评估

模型评估在数据集的 1/10 上进行，这部分数据作为测试数据集。评估指标包括准确率、F1 分数、召回率和精确率。

📚 详细文档

模型性能

数据集

很遗憾，由于受底层 Jigsaw 许可证的约束，我们无法将数据集开源。

📄 许可证

本项目采用 Apache - 2.0 许可证。