Melayubert

🚀 馬來語BERT

馬來語BERT是一個基於BERT的掩碼語言模型。它在OSCAR數據集上進行訓練，具體使用的是unshuffled_original_ms子集。該模型以英文BERT模型為基礎，在馬來西亞語數據集上進行了微調。在20%的驗證數據集上，該模型的困惑度達到了9.46。許多使用的技術基於由Sylvain Gugger編寫的Hugging Face教程筆記本，以及由Pierre Guillou編寫的微調教程筆記本。該模型同時支持PyTorch和TensorFlow使用。

✨ 主要特性

• 基於BERT架構，適用於馬來語的掩碼語言模型。
• 在OSCAR數據集的特定子集上訓練，針對馬來西亞語進行微調。
• 支持PyTorch和TensorFlow兩種深度學習框架。

📦 安裝指南

文檔未提及安裝步驟，此部分跳過。

💻 使用示例

基礎用法

作為掩碼語言模型使用：

from transformers import pipeline
pretrained_name = "StevenLimcorn/MelayuBERT"
fill_mask = pipeline(
    "fill-mask",
    model=pretrained_name,
    tokenizer=pretrained_name
)
fill_mask("Saya [MASK] makan nasi hari ini.")

高級用法

導入分詞器和模型：

from transformers import AutoTokenizer, AutoModelForMaskedLM
  
tokenizer = AutoTokenizer.from_pretrained("StevenLimcorn/MelayuBERT")

model = AutoModelForMaskedLM.from_pretrained("StevenLimcorn/MelayuBERT")

📚 詳細文檔

模型

該模型訓練了3個輪次，學習率為2e - 3，每步的訓練損失如下所示：

🔧 技術細節

本模型以英文BERT模型為基礎，在馬來西亞語數據集上進行微調。訓練過程中使用了一些來自Hugging Face教程的技術，具體可參考相關教程筆記本。在20%的驗證數據集上，模型達到了9.46的困惑度。

📄 許可證

本項目採用MIT許可證。

👨‍💻 作者

馬來語BERT由Steven Limcorn和Wilson Wongso訓練。