Tswanabert

🚀 TswanaBert

マスク言語モデリング（MLM）を目的として、ツワナ語で事前学習されたモデルです。

🚀 クイックスタート

TswanaBERTは、入力単語の一部をマスクし、バイトレベルのトークンを使用してマスクを予測するように学習することで、セツワナ語のコーパスで自己教師付き学習方式で事前学習されたトランスフォーマーモデルです。

✨ 主な機能

このモデルは、マスク言語モデリングまたは次の単語予測に使用できます。また、特定の下流の自然言語処理（NLP）アプリケーションで微調整することもできます。

💻 使用例

基本的な使用法

>>> from transformers import pipeline
>>> from transformers import AutoTokenizer, AutoModelWithLMHead

>>> tokenizer = AutoTokenizer.from_pretrained("MoseliMotsoehli/TswanaBert")
>>> model = AutoModelWithLMHead.from_pretrained("MoseliMotsoehli/TswanaBert")
>>> unmasker = pipeline('fill-mask', model=model, tokenizer=tokenizer)
>>> unmasker("Ntshopotse <mask> e godile.")

[{'score': 0.32749542593955994,
  'sequence': '<s>Ntshopotse setse e godile.</s>',
  'token': 538,
  'token_str': 'Ġsetse'},
 {'score': 0.060260992497205734,
  'sequence': '<s>Ntshopotse le e godile.</s>',
  'token': 270,
  'token_str': 'Ġle'},
 {'score': 0.058460816740989685,
  'sequence': '<s>Ntshopotse bone e godile.</s>',
  'token': 364,
  'token_str': 'Ġbone'},
 {'score': 0.05694682151079178,
  'sequence': '<s>Ntshopotse ga e godile.</s>',
  'token': 298,
  'token_str': 'Ġga'},
 {'score': 0.0565204992890358,
  'sequence': '<s>Ntshopotse, e godile.</s>',
  'token': 16,
  'token_str': ','}]

📚 ドキュメント

制限事項とバイアス

このモデルは、主にニュース記事や創作的な文章から収集された比較的小規模なセツワナ語のコーパスで学習されているため、まだ言語全体を十分に代表していません。

学習データ

1. このデータセットの最大部分（10,000文）は、Leipzig Corpora Collection から取得されました。
2. 次に、Marivate VukosiとSefara Tshephisho（2020）によって収集されたSABCのニュース見出しを追加しました。これらは zenoodo で無料で利用できます。これにより、コーパスに185文のツワナ語が追加されました。
3. その後、主にボツワナを起源とするニュースサイトやブログをスクレイピングして、さらに300文を追加しました。現在も積極的にデータセットを拡張しています。

• http://setswana.blogspot.com/
• https://omniglot.com/writing/tswana.php
• http://www.dailynews.gov.bw/
• http://www.mmegi.bw/index.php
• https://tsena.co.bw
• http://www.botswana.co.za/Cultural_Issues-travel/botswana-country-guide-en-route.html
• https://www.poemhunter.com/poem/2013-setswana/ https://www.poemhunter.com/poem/ngwana-wa-mosetsana/

BibTeXエントリと引用情報

@inproceedings{author = {Moseli Motsoehli},
  year={2020}
}