Bert Tagalog Base Uncased WWM

🚀 BERT Tagalog Base Uncased (Whole Word Masking)

このモデルは、インターネットから収集・前処理された大規模なテキストコーパスを使用して学習されたTagalog版のBERTです。このモデルは、より大規模な研究プロジェクトの一部です。我々は、フィリピンのNLPコミュニティでの利用を促進するためにこのモデルをオープンソース化しています。この特定のバージョンでは、Whole Word Maskingを使用しています。

🚀 クイックスタート

このモデルは非推奨となっています。より大規模なコーパスで学習された新しいフィリピン語のTransformerモデルが利用可能です。 より良いパフォーマンスを得るには、代わりにjcblaise/roberta-tagalog-base または jcblaise/roberta-tagalog-large を使用してください。

📚 ドキュメント

引用

すべてのモデルの詳細と学習設定は、我々の論文に記載されています。もしあなたがこのモデルを使用するか、あなたのプロジェクトで役立つと感じた場合は、以下のように我々の研究を引用してください。

@article{cruz2020establishing,
  title={Establishing Baselines for Text Classification in Low-Resource Languages},
  author={Cruz, Jan Christian Blaise and Cheng, Charibeth},
  journal={arXiv preprint arXiv:2005.02068},
  year={2020}
}

@article{cruz2019evaluating,
  title={Evaluating Language Model Finetuning Techniques for Low-resource Languages},
  author={Cruz, Jan Christian Blaise and Cheng, Charibeth},
  journal={arXiv preprint arXiv:1907.00409},
  year={2019}
}

データとその他のリソース

このモデルの学習に使用されたデータや、その他のフィリピン語のベンチマークデータセットは、私のウェブサイト https://blaisecruz.com で見つけることができます。

連絡先

質問や懸念事項がある場合、またはNLPや低リソース言語について話したい場合は、私の仕事用メール me@blaisecruz.com まで連絡してください。

📄 ライセンス

このモデルはGPL-3.0ライセンスの下で提供されています。