Robbert Dutch Base Toxic Comments

🚀 RobBERT-dutch-base-toxic-comments

このモデルは、有害または潜在的に有害なコメントを検出することを目的として作成されました。

🚀 クイックスタート

このモデルは有害または潜在的に有害なコメントを検出するために作られました。具体的には、オランダ語のRobBertaベースのモデルであるRobBERTを、翻訳されたJigsaw Toxicityデータセットでファインチューニングしています。

✨ 主な機能

• 有害または潜在的に有害なコメントの検出が可能です。
• オランダ語のコメントに対応しています。

📦 インストール

元のREADMEにインストール手順が記載されていないため、このセクションは省略されます。

💻 使用例

元のREADMEに使用例のコードが記載されていないため、このセクションは省略されます。

📚 ドキュメント

モデルの詳細

このモデルは、翻訳されたJigsaw Toxicityデータセットを使用して、RobBERTをファインチューニングして作成されました。元のデータセットは、適切なMariantMTモデルを使用して翻訳されました。

モデルは、以下の引数を使用して、データセットの90%で2エポック訓練されました。

training_args = TrainingArguments(
    learning_rate=1e-5,
    per_device_train_batch_size=8,
    per_device_eval_batch_size=8,
    gradient_accumulation_steps=6,
    load_best_model_at_end=True,
    metric_for_best_model="recall",
    epochs=2,
    evaluation_strategy="steps",
    save_strategy="steps",
    save_total_limit=10,
    logging_steps=100,
    eval_steps=250,
    save_steps=250,
    weight_decay=0.001,
    report_to="wandb")

モデルの性能

モデルの評価は、データセットの1/10をテストデータセットとして行われました。

データセット

残念ながら、基礎となるJigsawのライセンスの制約により、このデータセットをオープンソースで公開することはできません。

🔧 技術詳細

• モデルタイプ: オランダ語のRobBertaベースのモデルをファインチューニングしたもの
• 訓練データ: 翻訳されたJigsaw Toxicityデータセット

📄 ライセンス

このモデルは、Apache 2.0ライセンスの下で提供されています。