Bert Base Spanish Wwm Cased

🚀 BETO：西班牙文BERT模型

BETO是一個基於BERT模型，在大型西班牙文語料庫上訓練得到的模型。它的規模與BERT-Base相近，並且採用了全詞掩碼（Whole Word Masking）技術進行訓練。下面為你提供了無大小寫區分和有大小寫區分版本的Tensorflow和Pytorch檢查點，以及BETO在西班牙文基準測試中的一些結果，並與多語言BERT和其他（非基於BERT的）模型進行了比較。

🚀 快速開始

你可以訪問 🤗Huggingface Transformers庫 的 快速入門部分，瞭解如何使用BETO模型。通過Transformers庫，你可以簡單地將BETO模型作為 'dccuchile/bert-base-spanish-wwm-cased' 和 'dccuchile/bert-base-spanish-wwm-uncased' 進行訪問。關於如何下載和使用本頁面中的模型的示例，可以在 這個Colab筆記本 中找到。（我們很快會為新手添加更詳細的西班牙文分步教程 😉）

📦 安裝指南

你可以從以下鏈接下載BETO模型的不同版本：

所有模型都使用了通過SentencePiece構建的約31k個BPE子詞的詞彙表，並進行了200萬步的訓練。

📚 詳細文檔

基準測試

以下表格展示了BETO在每個任務的西班牙文版本中的一些結果。我們將BETO（有大小寫區分和無大小寫區分）與我們在文獻中找到的最佳多語言BERT結果（截至2019年10月）進行了比較。表格還展示了同一任務的其他替代方法（不一定是基於BERT的方法）。所有方法的參考文獻可以在 這裡 找到。

📄 許可證

CC BY 4.0許可證最能體現我們對這項工作的意圖。然而，我們不確定用於訓練BETO的所有數據集是否都具有與CC BY 4.0兼容的許可證（特別是用於商業用途）。請自行斟酌使用，並確保原始文本資源的許可證符合你的需求。

致謝

我們感謝 Adereso 為訓練BETO無大小寫區分版本提供的支持，以及 千禧年數據基礎研究學院 為訓練BETO有大小寫區分版本提供的支持。同時，感謝谷歌通過 TensorFlow研究雲 項目給予的幫助。

引用

西班牙文預訓練BERT模型和評估數據

如果在出版物中引用此資源，請使用以下格式：

@inproceedings{CaneteCFP2020,
  title={Spanish Pre-Trained BERT Model and Evaluation Data},
  author={Cañete, José and Chaperon, Gabriel and Fuentes, Rodrigo and Ho, Jou-Hui and Kang, Hojin and Pérez, Jorge},
  booktitle={PML4DC at ICLR 2020},
  year={2020}
}

參考文獻

• [1] 原始多語言BERT
• [2] 多語言BERT在 “Beto, Bentz, Becas: The Surprising Cross-Lingual Effectiveness of BERT” 中的應用
• [3] 多語言BERT在 “How Multilingual is Multilingual BERT?” 中的應用
• [4] LASER
• [5] XLM (MLM+TLM)
• [6] UDPipe在 “75 Languages, 1 Model: Parsing Universal Dependencies Universally” 中的應用
• [7] 多語言BERT在 “Sequence Tagging with Contextual and Non-Contextual Subword Representations: A Multilingual Evaluation” 中的應用
• [8] 多語言BERT在 “PAWS-X: A Cross-lingual Adversarial Dataset for Paraphrase Identification” 中的應用