Rubert Base Cased Sentence

🚀 俄語基礎大小寫敏感句子模型

Sentence RuBERT（俄語，大小寫敏感，12層，768隱藏層，12頭，1.8億參數）是一個基於表徵的俄語句子編碼器。它以RuBERT為初始模型，並在翻譯成俄語的SNLI[1]和XNLI開發集的俄語部分[2]上進行了微調。句子表徵是通過對詞元嵌入進行平均池化得到的，這與Sentence - BERT[3]的處理方式相同。

[1]: S. R. Bowman, G. Angeli, C. Potts, 和 C. D. Manning. (2015) 用於學習自然語言推理的大型標註語料庫。預印本 arXiv:1508.05326

[2]: Williams A., Bowman S. (2018) XNLI：評估跨語言句子表徵。預印本 arXiv:1809.05053

[3]: N. Reimers, I. Gurevych (2019) Sentence - BERT：使用孿生BERT網絡的句子嵌入。預印本 arXiv:1908.10084

🚀 快速開始

本模型是一個基於表徵的俄語句子編碼器，它以RuBERT為基礎，並在特定數據集上進行了微調，可用於俄語句子的編碼任務。

🔧 技術細節

Sentence RuBERT是一個針對俄語的句子編碼器。它的基礎架構為12層，隱藏層維度為768，有12個頭，總共包含1.8億個參數。該模型以RuBERT為初始狀態，然後在翻譯成俄語的SNLI數據集以及XNLI開發集的俄語部分上進行了微調。在生成句子表徵時，它採用了與Sentence - BERT相同的方法，即對詞元嵌入進行平均池化。這種處理方式能夠有效地將句子轉換為固定長度的向量表示，便於後續在自然語言處理任務中使用，如文本分類、語義相似度計算等。