Eurobert 210m Quality NL

🚀 文本數據質量自動評估模型（自然語言與代碼語言）

本項目可使用清晰直觀的量表自動評估文本數據質量，適用於自然語言（NL）和代碼語言（CL）。我們對比了兩種不同的方法：

• 統一模型：聯合處理自然語言和代碼語言，模型鏈接：EuroBERT - 210m - Quality
• 雙模型方法：分別處理自然語言和代碼語言：
  • 自然語言模型：EuroBERT - 210m - Quality - NL
  • 代碼語言模型：EuroBERT - 210m - Quality - CL

✨ 主要特性

分類類別

• 有害：有害數據，可能存在錯誤或危險。
• 低質量：存在重大問題的低質量數據。
• 中等質量：質量中等，有改進空間但可以接受。
• 高質量：質量良好至非常好的數據，可直接使用。

支持語言

• 自然語言：法語 🇫🇷、英語 🇬🇧、西班牙語 🇪🇸
• 代碼語言：Python 🐍、Java ☕、JavaScript 📜、C/C++ ⚙️

性能表現

統一模型（自然語言 + 代碼語言）的F1分數

分離模型的F1分數

關鍵性能指標

• 統一模型（自然語言 + 代碼語言）：
  • 總體準確率：約73%
  • 對有害數據的可靠性高（F1分數：0.86）
• 分離模型：
  • 自然語言（NL）：準確率約82%
    • 對有害數據的表現出色（F1分數：0.93）
  • 代碼語言（CL）：準確率約63%
    • 對有害數據的檢測效果良好（F1分數：0.72）

訓練數據集

• 公開可用的數據集：TempestTeam/dataset-quality

常見用例

• 在將文本語料集成到自然語言處理或代碼生成管道之前進行自動驗證。
• 評估社區貢獻（論壇、Stack Overflow、GitHub）的質量。
• 進行自動預處理，以提高自然語言處理或代碼生成系統的性能。

使用建議

💡 使用建議

• 對於特定場景，建議使用分離的自然語言和代碼語言模型以獲得最佳效果。
• 當數據上下文未知或混合時，統一模型適用於快速評估。

引用說明

如果在您的項目中使用了本模型，請在Hugging Face Hub上引用或鏈接回此模型。

📄 許可證

本項目採用Apache 2.0許可證。