Indobert Lite Large P1

🚀 IndoBERT-Lite大モデル (フェーズ1 - 大文字小文字を区別しない)

IndoBERT は、BERTモデルに基づく、インドネシア語用の高度な言語モデルです。事前学習モデルは、マスク言語モデリング（MLM）目標と次文予測（NSP）目標を使用して訓練されています。

🚀 クイックスタート

IndoBERTは、BERTモデルをベースに、インドネシア語用に特別に開発された高度な言語モデルです。特定の目標で訓練され、様々な自然言語処理タスクに使用できます。

✨ 主な機能

• BERTモデルアーキテクチャに基づいており、インドネシア語処理に適しています。
• マスク言語モデリング（MLM）と次文予測（NSP）目標を使用して事前学習されています。

📦 インストール

ドキュメントではインストール手順が提供されていません。このモデルを使用するには、transformersライブラリのインストール方法を参考にしてください。

💻 使用例

基本的な使用法

from transformers import BertTokenizer, AutoModel
tokenizer = BertTokenizer.from_pretrained("indobenchmark/indobert-lite-large-p1")
model = AutoModel.from_pretrained("indobenchmark/indobert-lite-large-p1")

高度な使用法

# コンテキスト表現を抽出する
import torch
x = torch.LongTensor(tokenizer.encode('aku adalah anak [MASK]')).view(1,-1)
print(x, model(x)[0].sum())

📚 ドキュメント

すべての事前学習モデル

📄 ライセンス

このプロジェクトはMITライセンスの下で提供されています。

👨‍💻 作者

IndoBERT は、Bryan Wilie*、Karissa Vincentio*、Genta Indra Winata*、Samuel Cahyawijaya*、Xiaohong Li、Zhi Yuan Lim、Sidik Soleman、Rahmad Mahendra、Pascale Fung、Syafri Bahar、Ayu Purwariantiによって訓練および評価されています。

📚 引用

もしあなたが私たちの成果を使用した場合、以下を引用してください。

@inproceedings{wilie2020indonlu,
  title={IndoNLU: Benchmark and Resources for Evaluating Indonesian Natural Language Understanding},
  author={Bryan Wilie and Karissa Vincentio and Genta Indra Winata and Samuel Cahyawijaya and X. Li and Zhi Yuan Lim and S. Soleman and R. Mahendra and Pascale Fung and Syafri Bahar and A. Purwarianti},
  booktitle={Proceedings of the 1st Conference of the Asia-Pacific Chapter of the Association for Computational Linguistics and the 10th International Joint Conference on Natural Language Processing},
  year={2020}
}