Indobert Base Uncased

🚀 IndoBERT - インドネシア語版BERTモデル

Transformerベースのインドネシア語向け事前学習言語モデルで、多様な自然言語処理タスクに対応

🚀 クイックスタート

IndoBERTは、BERTモデルのインドネシア語版です。このモデルは、220Mを超える単語を用いて学習されており、主に以下の3つのソースから集められたデータを使用しています。

• インドネシア語版Wikipedia (74M単語)
• Kompas、Tempo (Tala et al., 2003)、およびLiputan6のニュース記事 (合計55M単語)
• インドネシア語のウェブコーパス (Medved and Suchomel, 2017) (90M単語)

このモデルは240万ステップ（180エポック）学習され、開発セットに対する最終的なパープレキシティは3.97でした（英語のBERT-baseと同程度）。

このIndoBERTは、インドネシア語の形態構文、意味論、談話を対象とした7つのタスクからなるインドネシア語のベンチマークであるIndoLEMの評価に使用されました。

この論文は、2020年の第28回COLINGで発表されました。ベンチマークの詳細については、https://indolem.github.io を参照してください。

💻 使用例

基本的な使用法

# モデルとトークナイザーの読み込み (transformers==3.5.1でテスト済み)
from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained("indolem/indobert-base-uncased")
model = AutoModel.from_pretrained("indolem/indobert-base-uncased")

📄 ライセンス

このプロジェクトはMITライセンスの下で公開されています。

📚 引用

もしこの研究を利用する場合は、以下の文献を引用してください。

@inproceedings{koto2020indolem,
  title={IndoLEM and IndoBERT: A Benchmark Dataset and Pre-trained Language Model for Indonesian NLP},
  author={Fajri Koto and Afshin Rahimi and Jey Han Lau and Timothy Baldwin},
  booktitle={Proceedings of the 28th COLING},
  year={2020}
}