Eurobert 210m Quality NL

🚀 テキストデータ品質の自動評価モデル (NL & CL)

明確かつ直感的な尺度を使用して、自然言語（NL）とコード言語（CL）の両方に適応したテキストデータの品質を自動的に評価します。
ここでは、2つの異なるアプローチを比較しています。

• NLとCLの両方を同時に扱う統一モデル：EuroBERT-210m-Quality
• NLとCLを別々に扱うデュアルモデルアプローチ：
  • 自然言語用の EuroBERT-210m-Quality-NL
  • コード言語用の EuroBERT-210m-Quality-CL

✨ 主な機能

分類カテゴリ

• 有害：有害なデータで、潜在的に誤っているか危険なもの。
• 低：重大な問題がある低品質のデータ。
• 中：改善の余地はあるが許容できる中程度の品質。
• 高：良いから非常に良い品質のデータで、そのまま使用できる。

サポート言語

• 自然言語：フランス語 🇫🇷、英語 🇬🇧、スペイン語 🇪🇸
• コード言語：Python 🐍、Java ☕、JavaScript 📜、C/C++ ⚙️

パフォーマンス

• f1スコア: 統一モデル (NL + CL)

• f1スコア: 個別モデル

主要なパフォーマンス指標

• 統一モデル (NL + CL)：

  • 全体的な正解率: ~73%
  • 有害データに対する高い信頼性 (f1スコア: 0.86)

• 個別モデル：

  • 自然言語 (NL)：正解率 ~82%
    • 有害データに対する優れたパフォーマンス (f1スコア: 0.93)
  • コード言語 (CL)：正解率 ~63%
    • 有害データの良好な検出 (f1スコア: 0.72)

学習データセット

• 公開データセットが利用可能です：TempestTeam/dataset-quality

一般的なユースケース

• NLPまたはコード生成パイプラインに統合する前のテキストコーパスの自動検証。
• コミュニティの投稿（フォーラム、Stack Overflow、GitHub）の品質評価。
• NLPまたはコード生成システムのパフォーマンスを向上させるための自動前処理。

推奨事項

• 特殊なコンテキストでは、最適な結果を得るために個別のNLとCLモデルを使用してください。
• データのコンテキストが不明または混合されている場合の迅速な評価には、統一モデルが適しています。

📄 ライセンス

このライブラリは、Apache 2.0ライセンスの下で提供されています。

引用

このモデルをあなたのプロジェクトで使用する場合は、Hugging Face Hubでこのモデルを引用またはリンクしてください。