Nusabert Base

🚀 NusaBERT Base

NusaBERT Base是一個基於BERT架構的多語言編碼器語言模型。它在開源語料庫上進行了持續預訓練，解決了多語言處理的難題，為印尼語及相關語言的自然語言處理任務提供了強大的支持。

🚀 快速開始

在🤗Transformers中使用

from transformers import AutoTokenizer, AutoModelForMaskedLM

model_checkpoint = "LazarusNLP/NusaBERT-base"

tokenizer = AutoTokenizer.from_pretrained(model_checkpoint)
model = AutoModelForMaskedLM.from_pretrained(model_checkpoint)

✨ 主要特性

• 基於BERT架構的多語言編碼器語言模型，支持印尼語、亞齊語、巴釐語等多種語言。
• 在多個開源語料庫上進行持續預訓練，在驗證集上取得了較好的評估指標，如eval_accuracy達到0.6866。

📦 安裝指南

文檔未提及安裝步驟，如需使用，可參考🤗Transformers庫的安裝方法。

📚 詳細文檔

模型詳情

訓練數據集

預訓練過程中使用了來自以下語料庫的約160億個標記：

• 印尼維基百科數據倉庫
• KoPI - NLLB (印尼語語料庫)
• Cleaned, Enormous, and Public: The Multilingual Fuel to Democratize Large Language Models for 167 Languages

訓練超參數

訓練過程中使用了以下超參數：

• learning_rate：0.0003
• train_batch_size：256
• eval_batch_size：256
• seed：42
• optimizer：Adam，betas=(0.9, 0.999)，epsilon=1e - 08
• lr_scheduler_type：線性
• lr_scheduler_warmup_steps：24000
• training_steps：500000

框架版本

• Transformers 4.37.2
• Pytorch 2.2.0+cu118
• Datasets 2.17.1
• Tokenizers 0.15.1

🔧 技術細節

該模型基於🤗Transformers PyTorch框架進行訓練，所有訓練均在NVIDIA H100 GPU上完成。通過在多個開源語料庫上進行持續預訓練，不斷調整超參數，以提高模型在多語言任務上的性能。

📄 許可證

本模型以Apache 2.0許可證發佈。

致謝

NusaBERT Base由以下人員用心開發：

引用

@misc{wongso2024nusabert,
  title={NusaBERT: Teaching IndoBERT to be Multilingual and Multicultural}, 
  author={Wilson Wongso and David Samuel Setiawan and Steven Limcorn and Ananto Joyoadikusumo},
  year={2024},
  eprint={2403.01817},
  archivePrefix={arXiv},
  primaryClass={cs.CL}
}