Rubert Base Cased Conversational

🚀 俄語基礎大小寫對話模型（rubert-base-cased-conversational）

對話式RuBERT（俄語，區分大小寫，12層，768隱藏層，12頭，1.8億參數）在OpenSubtitles[1]、Dirty、Pikabu以及Taiga語料庫的社交媒體部分[2]上進行了訓練。我們基於這些數據為對話式RuBERT模型構建了一個新的詞彙表，並使用RuBERT對模型進行了初始化。

2021年11月8日：上傳帶有掩碼語言模型（MLM）和下一句預測（NSP）頭的模型。

[1]: P. Lison和J. Tiedemann，2016年，OpenSubtitles2016：從電影和電視字幕中提取大型平行語料庫。發表於第十屆國際語言資源與評估會議（LREC 2016）論文集

[2]: Shavrina T.，Shapovalova O.（2017年） 機器學習語料庫構建方法：“Taiga”句法樹語料庫與解析器。發表於“CORPORA2017”國際會議論文集，聖彼得堡，2017年。

📚 詳細文檔

模型信息

引用信息

• P. Lison和J. Tiedemann，2016年，OpenSubtitles2016：從電影和電視字幕中提取大型平行語料庫。發表於第十屆國際語言資源與評估會議（LREC 2016）論文集
• Shavrina T.，Shapovalova O.（2017年） 機器學習語料庫構建方法：“Taiga”句法樹語料庫與解析器。發表於“CORPORA2017”國際會議論文集，聖彼得堡，2017年。