Eurobert 210m Quality CL

🚀 テキストデータ品質の自動評価モデル (NL & CL)

自然言語（NL）とコード言語（CL）の両方に適応した、明確かつ直感的なスケールを使用して、テキストデータの品質を自動的に評価します。
2つの異なるアプローチを比較しています：

• NLとCLの両方を同時に扱う統合モデル：EuroBERT-210m-Quality
• NLとCLを別々に扱うデュアルモデルアプローチ：
  • 自然言語用の EuroBERT-210m-Quality-NL
  • コード言語用の EuroBERT-210m-Quality-CL

✨ 主な機能

分類カテゴリ

• 有害: 有害なデータ。潜在的に誤っているか危険なもの。
• 低: 重大な問題がある低品質のデータ。
• 中: 改善の余地はあるが許容できる中程度の品質。
• 高: 良いから非常に良い品質のデータで、そのまま使用できる。

サポートされる言語

• 自然言語: フランス語 🇫🇷、英語 🇬🇧、スペイン語 🇪🇸
• コード言語: Python 🐍、Java ☕、JavaScript 📜、C/C++ ⚙️

パフォーマンス

• f1スコア: 統合モデル (NL + CL)

• f1スコア: 個別モデル

主要なパフォーマンス指標

• 統合モデル (NL + CL):

  • 全体的な正解率: ~73%
  • 有害データに対する高い信頼性 (f1スコア: 0.86)

• 個別モデル:

  • 自然言語 (NL): 正解率 ~82%
    • 有害データに対する優れたパフォーマンス (f1スコア: 0.93)
  • コード言語 (CL): 正解率 ~63%
    • 有害データの良好な検出 (f1スコア: 0.72)

トレーニングデータセット

• 公開データセット利用可能: TempestTeam/dataset-quality

一般的なユースケース

• NLPまたはコード生成パイプラインに統合する前のテキストコーパスの自動検証。
• コミュニティの投稿（フォーラム、Stack Overflow、GitHub）の品質評価。
• NLPまたはコード生成システムのパフォーマンスを向上させるための自動前処理。

推奨事項

• 特殊なコンテキストでは、最適な結果を得るために個別のNLとCLモデルを使用してください。
• データのコンテキストが不明または混合されている場合の迅速な評価には、統合モデルが適しています。

📄 ライセンス

このライブラリは、Apache License 2.0の下でライセンスされています。

📚 ドキュメント

引用

このモデルをあなたのプロジェクトで使用する場合は、Hugging Face Hubでこのモデルを引用またはリンクしてください。