Indobert Lite Base P2

🚀 IndoBERT-Lite基礎モデル（フェーズ2 - 大文字小文字を区別しない）

IndoBERT は、BERTモデルに基づくインドネシア語の最先端の言語モデルです。この事前学習モデルは、マスク言語モデリング（MLM）目標と次文予測（NSP）目標を使用して訓練されています。

✨ 主な機能

IndoBERTは、BERTモデルに基づくインドネシア語の高度な言語モデルで、マスク言語モデリング（MLM）と次文予測（NSP）目標を通じて事前学習されています。

💻 使用例

基本的な使用法

from transformers import BertTokenizer, AutoModel
tokenizer = BertTokenizer.from_pretrained("indobenchmark/indobert-lite-base-p2")
model = AutoModel.from_pretrained("indobenchmark/indobert-lite-base-p2")

高度な使用法

x = torch.LongTensor(tokenizer.encode('aku adalah anak [MASK]')).view(1,-1)
print(x, model(x)[0].sum())

📚 ドキュメント

すべての事前学習モデル

📄 ライセンス

このプロジェクトはMITライセンスを採用しています。

📝 作者

IndoBERT は、Bryan Wilie*、Karissa Vincentio*、Genta Indra Winata*、Samuel Cahyawijaya*、Xiaohong Li、Zhi Yuan Lim、Sidik Soleman、Rahmad Mahendra、Pascale Fung、Syafri Bahar、Ayu Purwarianti によって訓練および評価されました。

📚 引用

もしあなたが私たちの成果を使用した場合、以下を引用してください：

@inproceedings{wilie2020indonlu,
  title={IndoNLU: Benchmark and Resources for Evaluating Indonesian Natural Language Understanding},
  author={Bryan Wilie and Karissa Vincentio and Genta Indra Winata and Samuel Cahyawijaya and X. Li and Zhi Yuan Lim and S. Soleman and R. Mahendra and Pascale Fung and Syafri Bahar and A. Purwarianti},
  booktitle={Proceedings of the 1st Conference of the Asia-Pacific Chapter of the Association for Computational Linguistics and the 10th International Joint Conference on Natural Language Processing},
  year={2020}
}