Bert Base Multilingual Cased Sentence

🚀 bert-base-multilingual-cased-sentence

Sentence Multilingual BERT（101言語、大文字小文字区別あり、12層、768隠れ層、12ヘッド、1億8000万パラメータ）は、多言語BERTの101言語用の表現ベースの文エンコーダです。これは多言語BERTで初期化され、その後英語のMultiNLI[1]と多言語XNLI[2]の開発セットで微調整されます。文の表現は、Sentence‑BERT[3]と同じ方法で、トークン埋め込みの平均プーリングを行ったものです。

[1]: Williams A., Nangia N. & Bowman S. (2017) A Broad-Coverage Challenge Corpus for Sentence Understanding through Inference. arXiv preprint arXiv:1704.05426 [2]: Williams A., Bowman S. (2018) XNLI: Evaluating Cross-lingual Sentence Representations. arXiv preprint arXiv:1809.05053 [3]: N. Reimers, I. Gurevych (2019) Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks. arXiv preprint arXiv:1908.10084