Nusabert Base

🚀 NusaBERT Base

NusaBERT Baseは、BERTアーキテクチャに基づくマルチリンガルなエンコーダーベースの言語モデルです。sabilmakbar/indo_wiki、acul3/KoPI-NLLB、uonlp/CulturaXのオープンソースコーパスで継続的な事前学習を行いました。コーパスのホールドアウトサブセットで、このモデルは以下の結果を達成しました。

• eval_accuracy: 0.6866
• eval_loss: 1.4876
• perplexity: 4.4266

このモデルは、🤗TransformersのPyTorchフレームワークを使用してトレーニングされました。すべてのトレーニングはNVIDIA H100 GPUで行われました。LazarusNLP/NusaBERT-baseはApache 2.0ライセンスの下で公開されています。

🚀 クイックスタート

NusaBERT Baseを使い始めるには、以下のコードを参考にしてください。

from transformers import AutoTokenizer, AutoModelForMaskedLM

model_checkpoint = "LazarusNLP/NusaBERT-base"

tokenizer = AutoTokenizer.from_pretrained(model_checkpoint)
model = AutoModelForMaskedLM.from_pretrained(model_checkpoint)

✨ 主な機能

このモデルは、多言語のエンコーダーベースの言語モデルで、以下の言語に対応しています。

• インドネシア語、アチ語、バリ語、バンジャル語、ブギス語、ゴロンタロ語、ジャワ語、バニュマサ語、ミナンカバウ語、マレー語、ニアス語、スンダ語、テトゥム語

📦 インストール

このモデルを使用するには、🤗Transformersライブラリが必要です。以下のコマンドでインストールできます。

pip install transformers

📚 ドキュメント

モデル詳細

トレーニングデータセット

事前学習中には、以下のコーパスから約160億トークンが使用されました。

• Indonesian Wikipedia Data Repository
• KoPI-NLLB (Korpus Perayapan Indonesia)
• Cleaned, Enormous, and Public: The Multilingual Fuel to Democratize Large Language Models for 167 Languages

トレーニングハイパーパラメータ

トレーニング中に使用されたハイパーパラメータは以下の通りです。

• learning_rate: 0.0003
• train_batch_size: 256
• eval_batch_size: 256
• seed: 42
• optimizer: Adam (betas=(0.9,0.999)、epsilon=1e-08)
• lr_scheduler_type: linear
• lr_scheduler_warmup_steps: 24000
• training_steps: 500000

フレームワークバージョン

• Transformers 4.37.2
• Pytorch 2.2.0+cu118
• Datasets 2.17.1
• Tokenizers 0.15.1

🔧 技術詳細

このモデルは、🤗TransformersのPyTorchフレームワークを使用してトレーニングされました。すべてのトレーニングはNVIDIA H100 GPUで行われました。

📄 ライセンス

このモデルは、Apache 2.0ライセンスの下で公開されています。

謝辞

NusaBERT Baseは、以下の開発者によって愛情を込めて開発されました。

引用

@misc{wongso2024nusabert,
  title={NusaBERT: Teaching IndoBERT to be Multilingual and Multicultural}, 
  author={Wilson Wongso and David Samuel Setiawan and Steven Limcorn and Ananto Joyoadikusumo},
  year={2024},
  eprint={2403.01817},
  archivePrefix={arXiv},
  primaryClass={cs.CL}
}