Robbert Dutch Base Toxic Comments

🚀 RobBERT-dutch-base-toxic-comments

本項目的核心模型旨在檢測有毒或潛在有害的評論，藉助先進的技術和精心訓練，為文本安全提供有力保障。

🚀 快速開始

本模型專為檢測有毒或潛在有害評論而創建。 我們在翻譯後的 Jigsaw 毒性數據集 上微調了一個基於荷蘭語 RobBerta 的模型 RobBERT。 原始數據集使用合適的 MariantMT 模型 進行了翻譯。 模型在數據集的 90% 上訓練了 2 個週期，使用了以下參數：

training_args = TrainingArguments(
    learning_rate=1e-5,
    per_device_train_batch_size=8,
    per_device_eval_batch_size=8,
    gradient_accumulation_steps=6,
    load_best_model_at_end=True,
    metric_for_best_model="recall",
    epochs=2,
    evaluation_strategy="steps",
    save_strategy="steps",
    save_total_limit=10,
    logging_steps=100,
    eval_steps=250,
    save_steps=250,
    weight_decay=0.001,
    report_to="wandb")

✨ 主要特性

• 語言適配：基於荷蘭語 RobBerta 模型，對荷蘭語評論的檢測更精準。
• 數據支持：在翻譯後的 Jigsaw 毒性數據集上進行微調，數據質量有保障。

🔧 技術細節

模型訓練

模型在數據集的 90% 上訓練了 2 個週期，使用了特定的訓練參數，如學習率為 1e - 5，每個設備的訓練批次大小為 8 等，以確保模型的性能。

模型評估

模型評估在數據集的 1/10 上進行，這部分數據作為測試數據集。評估指標包括準確率、F1 分數、召回率和精確率。

📚 詳細文檔

模型性能

數據集

很遺憾，由於受底層 Jigsaw 許可證的約束，我們無法將數據集開源。

📄 許可證

本項目採用 Apache - 2.0 許可證。