Roberta Tagalog Large

🚀 RoBERTa Tagalog Large

RoBERTa Tagalog Large 是在之前他加祿語預訓練 Transformer 模型基礎上改進訓練得到的。它使用了 TLUnified 進行訓練，這是一個更新、更大且主題更多樣的菲律賓語預訓練語料庫。該模型是一個更大研究項目的一部分，我們將其開源，以便菲律賓自然語言處理社區能更廣泛地使用。

此模型為區分大小寫的模型，我們不會發布不區分大小寫的 RoBERTa 模型。

🚀 快速開始

文檔未提及快速開始相關內容，可參考模型的使用說明或在相關代碼庫中查找示例代碼進行使用。

✨ 主要特性

• 基於之前的他加祿語預訓練 Transformer 模型進行改進。
• 使用更新、更大且主題更多樣的 TLUnified 語料庫進行訓練。
• 為區分大小寫的模型。

📚 詳細文檔

引用信息

如果您使用我們的模型或在項目中發現它很有用，請引用我們的論文：

@article{cruz2021improving,
  title={Improving Large-scale Language Models and Resources for Filipino},
  author={Jan Christian Blaise Cruz and Charibeth Cheng},
  journal={arXiv preprint arXiv:2111.06053},
  year={2021}
}

數據和其他資源

用於訓練此模型的數據以及其他菲律賓語基準數據集可在我的網站 https://blaisecruz.com 上找到。

聯繫信息

如果您有問題、疑慮，或者只是想聊聊自然語言處理和低資源語言相關的話題，您可以通過我的工作郵箱 me@blaisecruz.com 聯繫我。

📄 許可證

本模型採用 CC BY-SA 4.0 許可證。