Roberta Tagalog Large

🚀 RoBERTa Tagalog Large

RoBERTa Tagalog Large 是在之前他加禄语预训练 Transformer 模型基础上改进训练得到的。它使用了 TLUnified 进行训练，这是一个更新、更大且主题更多样的菲律宾语预训练语料库。该模型是一个更大研究项目的一部分，我们将其开源，以便菲律宾自然语言处理社区能更广泛地使用。

此模型为区分大小写的模型，我们不会发布不区分大小写的 RoBERTa 模型。

🚀 快速开始

文档未提及快速开始相关内容，可参考模型的使用说明或在相关代码库中查找示例代码进行使用。

✨ 主要特性

• 基于之前的他加禄语预训练 Transformer 模型进行改进。
• 使用更新、更大且主题更多样的 TLUnified 语料库进行训练。
• 为区分大小写的模型。

📚 详细文档

引用信息

如果您使用我们的模型或在项目中发现它很有用，请引用我们的论文：

@article{cruz2021improving,
  title={Improving Large-scale Language Models and Resources for Filipino},
  author={Jan Christian Blaise Cruz and Charibeth Cheng},
  journal={arXiv preprint arXiv:2111.06053},
  year={2021}
}

数据和其他资源

用于训练此模型的数据以及其他菲律宾语基准数据集可在我的网站 https://blaisecruz.com 上找到。

联系信息

如果您有问题、疑虑，或者只是想聊聊自然语言处理和低资源语言相关的话题，您可以通过我的工作邮箱 me@blaisecruz.com 联系我。

📄 许可证

本模型采用 CC BY-SA 4.0 许可证。