Scandi Fine Web Cleaner

🚀 スキャンディング・ファインウェブクリーナー

このモデルは、デンマーク語とスウェーデン語のウェブテキストに含まれる問題のあるコンテンツ（誤った言語、文字化けしたテキスト）を識別するデモ分類器です。これは、コミュニティのアノテーションを使ってウェブデータをフィルタリングする方法を探るブログ記事の一環として作成されました。このモデルは、[FacebookAI/xlm - roberta - base](https://huggingface.co/FacebookAI/xlm - roberta - base)を[データ・イズ・ベター・トゥゲザー/fineweb - c](https://huggingface.co/datasets/data - is - better - together/fineweb - c)データセットでファインチューニングすることで作成されました。

評価セットでは、以下の結果を達成しています。

• 適合率: 0.9524 (95.2%)
• 再現率: 0.7018 (70.2%)
• F1値: 0.8081
• AUC - ROC: 0.9648

🚀 クイックスタート

このモデルは、ウェブテキストの事前フィルターとして使用され、アノテーションの効率を向上させることを目的としています。デンマーク語とスウェーデン語のコンテンツでのみテストされています。高い適合率（95.2%）は誤検出が少ないことを意味し、再現率（70.2%）はほとんどの問題のあるコンテンツを捕捉できることを示しています。

✨ 主な機能

• デンマーク語とスウェーデン語のウェブテキストに含まれる問題のあるコンテンツを識別する。
• ウェブデータの事前フィルターとして使用し、アノテーションの効率を向上させる。

📦 インストール

ドキュメントにインストール手順が記載されていないため、このセクションをスキップします。

💻 使用例

ドキュメントにコード例が記載されていないため、このセクションをスキップします。

📚 ドキュメント

想定される使用方法と制限

このモデルは、ウェブテキストの事前フィルターとして使用され、アノテーションの効率を向上させることを目的としています。デンマーク語とスウェーデン語のコンテンツでのみテストされています。

学習と評価データ

詳細情報は必要です。

学習手順

学習ハイパーパラメータ

学習中に以下のハイパーパラメータが使用されました。

• 学習率: 2e - 05
• 学習バッチサイズ: 16
• 評価バッチサイズ: 16
• シード: 42
• オプティマイザ: betas=(0.9, 0.999)、epsilon = 1e - 08 の OptimizerNames.ADAMW_TORCH を使用し、追加のオプティマイザ引数はありません
• 学習率スケジューラの種類: 線形
• エポック数: 10
• 混合精度学習: Native AMP

学習結果

🔧 技術詳細

ドキュメントに十分な技術詳細が記載されていないため、このセクションをスキップします。

📄 ライセンス

このモデルはMITライセンスの下で提供されています。

モデル情報