Eurobert 210m Quality

🚀 文本數據質量自動評估模型 (自然語言與代碼語言)

本項目可使用清晰直觀的量表自動評估文本數據的質量，適用於自然語言（NL）和代碼語言（CL）。我們對比了兩種不同的方法：

• 統一模型：可同時處理自然語言和代碼語言，模型鏈接為 EuroBERT - 210m - Quality。
• 雙模型方法：分別處理自然語言和代碼語言：
  • 自然語言模型：EuroBERT - 210m - Quality - NL。
  • 代碼語言模型：EuroBERT - 210m - Quality - CL。

✨ 主要特性

分類類別

• 有害：有害數據，可能存在錯誤或危險。
• 低質量：存在重大問題的低質量數據。
• 中等質量：質量中等，有改進空間但可以接受。
• 高質量：質量良好至非常好的數據，可直接使用。

支持的語言

• 自然語言：法語 🇫🇷、英語 🇬🇧、西班牙語 🇪🇸。
• 代碼語言：Python 🐍、Java ☕、JavaScript 📜、C/C++ ⚙️。

📚 詳細文檔

性能

統一模型（自然語言 + 代碼語言）的 F1 分數

分離模型的 F1 分數

關鍵性能指標

• 統一模型（自然語言 + 代碼語言）：
  • 總體準確率：約 73%。
  • 對有害數據的可靠性高（F1 分數：0.86）。
• 分離模型：
  • 自然語言（NL）：準確率約 82%。
    • 對有害數據的表現出色（F1 分數：0.93）。
  • 代碼語言（CL）：準確率約 63%。
    • 對有害數據的檢測效果良好（F1 分數：0.72）。

訓練數據集

• 公開可用的數據集：TempestTeam/dataset - quality。

常見用例

• 在將文本語料集成到自然語言處理或代碼生成管道之前進行自動驗證。
• 評估社區貢獻（論壇、Stack Overflow、GitHub）的質量。
• 進行自動預處理，以提高自然語言處理或代碼生成系統的性能。

推薦建議

• 對於特定場景，建議使用分離的自然語言和代碼語言模型以獲得最佳效果。
• 當數據上下文未知或混合時，統一模型適用於快速評估。

引用說明

如果在您的項目中使用了此模型，請在 Hugging Face Hub 上引用或鏈接回該模型。

📄 許可證

本項目採用 Apache - 2.0 許可證。