Roberta Tagalog Base

🚀 RoBERTa塔加洛語基礎模型

本模型是對我們之前的塔加洛語預訓練Transformer模型的改進。它使用了TLUnified進行訓練，這是一個更新、更大且主題更多樣化的菲律賓語預訓練語料庫。此模型是一個更大研究項目的一部分。我們將該模型開源，以便菲律賓自然語言處理社區能更廣泛地使用。

該模型是區分大小寫的模型，我們不會發布不區分大小寫的RoBERTa模型。

🚀 快速開始

本模型是基於塔加洛語訓練的RoBERTa模型，在之前的塔加洛語預訓練Transformer模型基礎上進行了改進，使用了更優質的語料庫進行訓練。

✨ 主要特性

• 基於更新、更大且主題更多樣化的TLUnified語料庫訓練。
• 屬於區分大小寫的模型。

📚 詳細文檔

引用說明

所有模型細節和訓練設置都可以在我們的論文中找到。如果您使用了我們的模型或發現它在您的項目中很有用，請引用我們的工作：

@article{cruz2021improving,
  title={Improving Large-scale Language Models and Resources for Filipino},
  author={Jan Christian Blaise Cruz and Charibeth Cheng},
  journal={arXiv preprint arXiv:2111.06053},
  year={2021}
}

數據及其他資源

用於訓練此模型的數據以及其他菲律賓語基準數據集可在我的網站https://blaisecruz.com 上找到。

聯繫方式

如果您有問題、疑慮，或者只是想聊聊自然語言處理和低資源語言相關的話題，您可以通過我的工作郵箱me@blaisecruz.com聯繫我。

📄 許可證

本模型採用CC BY - SA 4.0許可證。