Melayubert

🚀 メラヤ語BERT

メラヤ語BERTは、BERTに基づくマスク言語モデルです。このモデルは、OSCARデータセット、具体的にはunshuffled_original_msサブセットを使用して学習されました。使用されたモデルは英語のBERTモデルで、マレーシアのデータセットでファインチューニングされました。このモデルは、20%の検証データセットで9.46のパープレキシティを達成しました。多くの手法は、Sylvain GuggerによるHugging Faceのチュートリアルノートブックと、Pierre Guillouによるファインチューニングチュートリアルノートブックに基づいています。このモデルは、PyTorchとTensorFlowの両方で使用できます。

✨ 主な機能

• メラヤ語に特化したマスク言語モデルで、メラヤ語の自然言語処理タスクに役立ちます。
• 英語のBERTモデルをベースにマレーシアのデータセットでファインチューニングされています。
• PyTorchとTensorFlowの両方で使用可能です。

📦 インストール

このモデルを使用するには、transformersライブラリが必要です。以下のコマンドでインストールできます。

pip install transformers

📚 ドキュメント

モデル

このモデルは、学習率2e-3で3エポック学習され、以下のようなステップごとの学習損失を達成しました。

モデル情報

💻 使用例

基本的な使用法

マスク言語モデルとして使用

from transformers import pipeline
pretrained_name = "StevenLimcorn/MelayuBERT"
fill_mask = pipeline(
    "fill-mask",
    model=pretrained_name,
    tokenizer=pretrained_name
)
fill_mask("Saya [MASK] makan nasi hari ini.")

トークナイザーとモデルのインポート

from transformers import AutoTokenizer, AutoModelForMaskedLM
  
tokenizer = AutoTokenizer.from_pretrained("StevenLimcorn/MelayuBERT")

model = AutoModelForMaskedLM.from_pretrained("StevenLimcorn/MelayuBERT")

📄 ライセンス

このモデルはMITライセンスの下で公開されています。

👤 作者

メラヤ語BERTは、Steven LimcornとWilson Wongsoによって学習されました。