Indobert Base Uncased

🚀 IndoBERT：印尼版BERT模型

IndoBERT是BERT模型的印尼語版本，它通過聚合三個主要來源的超2.2億個單詞進行訓練，為印尼語自然語言處理任務提供了強大支持。

🚀 快速開始

IndoBERT是基於Transformer架構的預訓練語言模型，在印尼語自然語言處理任務中表現出色。以下是加載模型和分詞器的示例代碼：

from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained("indolem/indobert-base-uncased")
model = AutoModel.from_pretrained("indolem/indobert-base-uncased")

✨ 主要特性

訓練數據豐富

IndoBERT模型的訓練數據超過2.2億個單詞，主要來源於以下三個方面：

• 印尼語維基百科（7400萬個單詞）
• 來自Kompas、Tempo（Tala等人，2003）和Liputan6的新聞文章（總共5500萬個單詞）
• 印尼網絡語料庫（Medved和Suchomel，2017）（9000萬個單詞）

訓練效果良好

模型經過240萬步（180個epoch）的訓練，在開發集上的最終困惑度為 3.97，與英文BERT-base相當。

多任務表現優異

IndoBERT被用於評估IndoLEM——一個包含印尼語七個任務的基準測試集，涵蓋形態句法、語義和語篇等方面。以下是IndoBERT與其他模型在各項任務上的性能對比：

📚 詳細文檔

該論文發表於第28屆COLING 2020會議。更多關於基準測試的詳細信息，請參考 https://indolem.github.io 。

📄 許可證

本項目採用MIT許可證。

📦 引用

如果您使用了我們的工作，請引用以下文獻：

@inproceedings{koto2020indolem,
  title={IndoLEM and IndoBERT: A Benchmark Dataset and Pre-trained Language Model for Indonesian NLP},
  author={Fajri Koto and Afshin Rahimi and Jey Han Lau and Timothy Baldwin},
  booktitle={Proceedings of the 28th COLING},
  year={2020}
}