Rubert Base Cased Sentence

🚀 rubert-base-cased-sentence

Sentence RuBERT（ロシア語、大文字小文字区別あり、12層、768隠れ層、12ヘッド、1億8000万パラメータ）は、ロシア語用の表現ベースの文エンコーダです。RuBERTで初期化され、SNLI[1]をグーグル翻訳でロシア語に変換したデータと、XNLI開発セットのロシア語部分[2]で微調整されています。文の表現は、Sentence‑BERT[3]と同じように、トークン埋め込みの平均プーリングです。

🚀 クイックスタート

Sentence RuBERTは、ロシア語の文をエンコードするための強力なツールです。このモデルは、ロシア語の自然言語処理タスクにおいて、文の表現を効果的に学習します。

[1]: S. R. Bowman, G. Angeli, C. Potts, and C. D. Manning. (2015) A large annotated corpus for learning natural language inference. arXiv preprint arXiv:1508.05326

[2]: Williams A., Bowman S. (2018) XNLI: Evaluating Cross-lingual Sentence Representations. arXiv preprint arXiv:1809.05053

[3]: N. Reimers, I. Gurevych (2019) Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks. arXiv preprint arXiv:1908.10084