Bert Base Multilingual Cased Sentence

🚀 多語言大小寫敏感的BERT句子編碼器

多語言大小寫敏感的BERT句子編碼器（支持101種語言，大小寫敏感，12層，768隱藏層維度，12頭注意力機制，1.8億參數）是基於多語言BERT的句子編碼器，可用於101種語言。它以多語言BERT為基礎進行初始化，然後在英文MultiNLI[1]和多語言XNLI[2]的驗證集上進行微調。句子表示採用與Sentence - BERT[3]相同的方式，即對詞元嵌入進行平均池化。

📚 詳細文檔

引用信息

• [1] Williams A., Nangia N. & Bowman S. (2017) A Broad - Coverage Challenge Corpus for Sentence Understanding through Inference. arXiv preprint arXiv:1704.05426
• [2] Williams A., Bowman S. (2018) XNLI: Evaluating Cross - lingual Sentence Representations. arXiv preprint arXiv:1809.05053
• [3] N. Reimers, I. Gurevych (2019) Sentence - BERT: Sentence Embeddings using Siamese BERT - Networks. arXiv preprint arXiv:1908.10084