Bert Tagalog Base Uncased WWM

🚀 塔加洛語無大小寫區分基礎BERT模型（全詞掩碼）

該模型是基於從互聯網上抓取並預處理的大型文本語料庫訓練的塔加洛語版本BERT。它是一個大型研究項目的一部分，我們將其開源，以促進菲律賓自然語言處理社區的廣泛使用。此特定版本採用了全詞掩碼技術。

🚀 快速開始

此模型已棄用。現在已有使用更大語料庫訓練的新菲律賓語Transformer模型。為獲得更好的性能，請使用jcblaise/roberta-tagalog-base 或 jcblaise/roberta-tagalog-large。

📚 詳細文檔

引用說明

所有模型細節和訓練設置可在我們的論文中找到。如果您使用了我們的模型或發現它在您的項目中很有用，請引用我們的工作：

@article{cruz2020establishing,
  title={Establishing Baselines for Text Classification in Low-Resource Languages},
  author={Cruz, Jan Christian Blaise and Cheng, Charibeth},
  journal={arXiv preprint arXiv:2005.02068},
  year={2020}
}

@article{cruz2019evaluating,
  title={Evaluating Language Model Finetuning Techniques for Low-resource Languages},
  author={Cruz, Jan Christian Blaise and Cheng, Charibeth},
  journal={arXiv preprint arXiv:1907.00409},
  year={2019}
}

數據及其他資源

用於訓練此模型的數據以及其他菲律賓語基準數據集可在我的網站 https://blaisecruz.com 上找到。

聯繫我們

如果您有任何問題、疑慮，或者只是想聊聊自然語言處理和低資源語言相關的話題，您可以通過我的工作郵箱 me@blaisecruz.com 聯繫我。

📄 許可證

本模型採用GPL-3.0許可證。

⚠️ 重要提示

此模型已棄用，請使用新的菲律賓語Transformer模型以獲得更好的性能。

💡 使用建議

若要使用該模型相關數據，可訪問 https://blaisecruz.com 查找。若有相關問題，可通過郵箱 me@blaisecruz.com 聯繫作者。