Tswanabert

🚀 茨瓦納語預訓練模型TswanaBert

TswanaBert是一個基於茨瓦納語語料庫，採用掩碼語言模型（MLM）目標進行預訓練的模型。它能夠用於掩碼語言建模或下一個詞的預測任務，也可以針對特定的下游NLP應用進行微調。

🚀 快速開始

模型描述

TswanaBERT是一個基於Transformer架構的模型，它以自監督的方式在茨瓦納語語料庫上進行預訓練。具體做法是對輸入的部分單詞進行掩碼處理，然後使用字節級別的標記來訓練模型預測這些被掩碼的單詞。

預期用途和侷限性

該模型可用於掩碼語言建模或下一個詞的預測，也能針對特定的下游NLP應用進行微調。

使用方法

>>> from transformers import pipeline
>>> from transformers import AutoTokenizer, AutoModelWithLMHead

>>> tokenizer = AutoTokenizer.from_pretrained("MoseliMotsoehli/TswanaBert")
>>> model = AutoModelWithLMHead.from_pretrained("MoseliMotsoehli/TswanaBert")
>>> unmasker = pipeline('fill-mask', model=model, tokenizer=tokenizer)
>>> unmasker("Ntshopotse <mask> e godile.")

[{'score': 0.32749542593955994,
  'sequence': '<s>Ntshopotse setse e godile.</s>',
  'token': 538,
  'token_str': 'Ġsetse'},
 {'score': 0.060260992497205734,
  'sequence': '<s>Ntshopotse le e godile.</s>',
  'token': 270,
  'token_str': 'Ġle'},
 {'score': 0.058460816740989685,
  'sequence': '<s>Ntshopotse bone e godile.</s>',
  'token': 364,
  'token_str': 'Ġbone'},
 {'score': 0.05694682151079178,
  'sequence': '<s>Ntshopotse ga e godile.</s>',
  'token': 298,
  'token_str': 'Ġga'},
 {'score': 0.0565204992890358,
  'sequence': '<s>Ntshopotse, e godile.</s>',
  'token': 16,
  'token_str': ','}]

侷限性和偏差

該模型是在相對較小的茨瓦納語語料庫上進行訓練的，這些語料主要來自新聞文章和創意寫作，因此目前還不能充分代表整個茨瓦納語。

📦 訓練數據

1. 該數據集最大的一部分（10000個句子）來自萊比錫語料庫集合。
2. 我們還添加了由Marivate Vukosi和Sefara Tshephisho（2020年）收集的南非廣播公司（SABC）的新聞標題，這些數據可在zenoodo上免費獲取，為語料庫增加了185個茨瓦納語句子。
3. 我們還通過抓取以下主要來自博茨瓦納的新聞網站和博客，又添加了300個句子，並且我們會持續擴展該數據集。
   • http://setswana.blogspot.com/
   • https://omniglot.com/writing/tswana.php
   • http://www.dailynews.gov.bw/
   • http://www.mmegi.bw/index.php
   • https://tsena.co.bw
   • http://www.botswana.co.za/Cultural_Issues-travel/botswana-country-guide-en-route.html
   • https://www.poemhunter.com/poem/2013-setswana/
   • https://www.poemhunter.com/poem/ngwana-wa-mosetsana/

📚 引用信息

@inproceedings{author = {Moseli Motsoehli},
  year={2020}
}