Rubert Base Cased Conversational Paraphrase V1

🚀 俄語句子語義相似度評估模型

本項目提供的模型可用於評估俄語句子之間的語義相似度，解決了俄語句子語義相似度評估的難題，為俄語自然語言處理相關任務提供了有力支持。

🚀 快速開始

這是一個基於 ruBERT-conversational 的模型，在3個釋義檢測數據集的混合數據上進行了訓練：

• ru_paraphraser（將 -1 和 0 類合併）
• RuPAWS
• 一個包含由 Dementieva 等人，2022 進行的俄語文本去毒內容保留眾包評估的數據集。

該模型可用於評估俄語句子的語義相似度。

✨ 主要特性

• 基於 ruBERT-conversational 模型進行訓練，具有較好的語義理解能力。
• 在多個釋義檢測數據集上進行訓練，能更準確地評估俄語句子的語義相似度。

📚 詳細文檔

訓練信息

• 訓練筆記本：task_oriented_TST/similarity/cross_encoders/russian/train_russian_paraphrase_detector__fixed.ipynb（在私有倉庫中）。
• 訓練參數：
  • 優化器：Adam
  • lr=1e-5
  • batch_size=32
  • epochs=3

開發數據上的 ROC AUC

source         score
detox          0.821665
paraphraser    0.848287
rupaws_qqp     0.761481
rupaws_wiki    0.844093

相關參考

另請參閱 SkolkovoInstitute/ruRoberta-large-paraphrase-v1 的文檔，該模型在這項任務上表現更佳。