Eurobert 210m Quality

🚀 テキストデータ品質の自動評価モデル (自然言語とコード言語)

自然言語（NL）とコード言語（CL）の両方に適応した、明確かつ直感的な尺度を使用して、テキストデータの品質を自動的に評価します。
2つの異なるアプローチを比較しています：

• NLとCLを同時に扱う統一モデル：EuroBERT-210m-Quality
• NLとCLを別々に扱うデュアルモデルアプローチ：
  • 自然言語用の EuroBERT-210m-Quality-NL
  • コード言語用の EuroBERT-210m-Quality-CL

✨ 主な機能

分類カテゴリ

• 有害：有害なデータで、潜在的に誤っているか危険なもの。
• 低：重大な問題を抱える低品質のデータ。
• 中：改善の余地はあるが、許容できる中程度の品質。
• 高：非常に良い品質のデータで、そのまま使用できる。

サポート言語

• 自然言語：フランス語 🇫🇷、英語 🇬🇧、スペイン語 🇪🇸
• コード言語：Python 🐍、Java ☕、JavaScript 📜、C/C++ ⚙️

パフォーマンス

f1スコア: 統一モデル (NL + CL)

f1スコア: 個別モデル

主要なパフォーマンス指標

• 統一モデル (NL + CL)：
  • 全体的な正解率: ~73%
  • 有害データに対する高い信頼性 (f1スコア: 0.86)
• 個別モデル：
  • 自然言語 (NL)：正解率 ~82%
    • 有害データに対する優れたパフォーマンス (f1スコア: 0.93)
  • コード言語 (CL)：正解率 ~63%
    • 有害データの良好な検出 (f1スコア: 0.72)

学習データセット

• 公開データセット利用可能: TempestTeam/dataset-quality

一般的なユースケース

• NLPまたはコード生成パイプラインに統合する前のテキストコーパスの自動検証。
• コミュニティの投稿（フォーラム、Stack Overflow、GitHub）の品質評価。
• NLPまたはコード生成システムのパフォーマンスを向上させるための自動前処理。

推奨事項

• 特殊なコンテキストでは、最適な結果を得るために個別のNLとCLモデルを使用してください。
• データのコンテキストが不明または混合されている場合の迅速な評価には、統一モデルが適しています。

📄 ライセンス

このライブラリはApache 2.0ライセンスの下で提供されています。

📚 引用

このモデルをあなたのプロジェクトで使用する場合は、Hugging Face Hubでこのモデルを引用またはリンクしてください。