Estbert

🚀 EstBERT

EstBERTモデルは、エストニア語の大文字小文字を区別したコーパスを使用して、シーケンス長128と512のデータで専用に事前学習されたBERT_Baseモデルです。

🚀 クイックスタート

このモデルは、tensorflowとpytorchの両方のバージョンのtransformerライブラリで使用できます。

from transformers import AutoTokenizer, AutoModelForMaskedLM
tokenizer = AutoTokenizer.from_pretrained("tartuNLP/EstBERT")
model = AutoModelForMaskedLM.from_pretrained("tartuNLP/EstBERT")

また、事前学習済みモデルをここからダウンロードすることもできます。EstBERT_128 EstBERT_512

✨ 主な機能

モデルの概要

EstBERTモデルは、シーケンス長128と512のデータで学習されています。学習には、当時利用可能な最大のエストニア語コーパスであるEstonian National Corpus 2017を使用しました。このコーパスは、Estonian Reference Corpus 1990 - 2008、Estonian Web Corpus 2013、Estonian Web Corpus 2017、Estonian Wikipedia Corpus 2017の4つのサブコーパスで構成されています。

モデルの性能

EstBERTは、品詞タグ付け（POS）、固有表現認識（NER）、ルーブリック分類、および感情分類タスクにおいて、mBERTやXLM - RoBERTaと比較して全体的に良好な性能を発揮します。比較結果は以下の通りです。

📚 ドキュメント

引用文献

Tanvir et al 2021

BibTeXエントリと引用情報

@misc{tanvir2020estbert,
      title={EstBERT: A Pretrained Language-Specific BERT for Estonian}, 
      author={Hasan Tanvir and Claudia Kittask and Kairit Sirts},
      year={2020},
      eprint={2011.04784},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

📄 ライセンス

このプロジェクトは、CC - BY - 4.0ライセンスの下で提供されています。