Mbertu

🚀 mBERTu

mBERTu是一個馬耳他語多語言模型，它以多語言BERT為初始檢查點，在Korpus Malti v4.0上進行了預訓練。該模型可用於多種自然語言處理任務，為馬耳他語相關的研究和應用提供了有力支持。

📚 詳細文檔

模型信息

任務結果

依存句法分析（Dependency Parsing）

• 數據集：馬耳他通用依存樹庫（Maltese Universal Dependencies Treebank，MUDT）
• 指標：
  • 無標記附著分數（Unlabelled Attachment Score，UAS）：92.10
  • 有標記附著分數（Labelled Attachment Score，LAS）：87.87

詞性標註（Part-of-Speech Tagging）

• 數據集：MLRS POS數據集
• 指標：
  • 通用詞性準確率（UPOS Accuracy）：98.66
  • 擴展詞性準確率（XPOS Accuracy）：98.58

命名實體識別（Named Entity Recognition）

• 數據集：WikiAnn（馬耳他語）
• 指標：基於跨度的F1分數（Span-based F1）：86.60

情感分析（Sentiment Analysis）

• 數據集：馬耳他語情感分析數據集
• 指標：宏平均F1分數（Macro-averaged F1）：76.79

📄 許可證

本作品採用知識共享署名 - 非商業性使用 - 相同方式共享 4.0 國際許可協議進行許可。超出此許可範圍的權限可在 https://mlrs.research.um.edu.mt/ 獲得。

📖 引用

本研究成果首次發表於 Pre-training Data Quality and Quantity for a Low-Resource Language: New Corpus and BERT Models for Maltese。請按以下格式引用：

@inproceedings{BERTu,
    title = "Pre-training Data Quality and Quantity for a Low-Resource Language: New Corpus and {BERT} Models for {M}altese",
    author = "Micallef, Kurt  and
              Gatt, Albert  and
              Tanti, Marc  and
              van der Plas, Lonneke  and
              Borg, Claudia",
    booktitle = "Proceedings of the Third Workshop on Deep Learning for Low-Resource Natural Language Processing",
    month = jul,
    year = "2022",
    address = "Hybrid",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2022.deeplo-1.10",
    doi = "10.18653/v1/2022.deeplo-1.10",
    pages = "90--101",
}