Estbert

🚀 EstBERT

EstBERT是一個專門針對愛沙尼亞語的預訓練模型，基於BERT_Base架構，在愛沙尼亞語大小寫敏感語料庫上進行訓練，支持128和512兩種序列長度的數據，能在詞性標註、命名實體識別等多個任務中展現出良好的性能。

🚀 快速開始

使用transformers庫調用模型

你可以在TensorFlow和PyTorch版本中使用模型變換器庫。

from transformers import AutoTokenizer, AutoModelForMaskedLM
tokenizer = AutoTokenizer.from_pretrained("tartuNLP/EstBERT")
model = AutoModelForMaskedLM.from_pretrained("tartuNLP/EstBERT")

你也可以從以下鏈接下載預訓練模型：EstBERT_128 EstBERT_512

✨ 主要特性

訓練數據

EstBERT模型在128和512序列長度的數據上進行訓練。訓練EstBERT時，使用了愛沙尼亞國家語料庫2017，這是當時可用的最大的愛沙尼亞語語料庫。它由四個子語料庫組成：愛沙尼亞參考語料庫1990 - 2008、愛沙尼亞網絡語料庫2013、愛沙尼亞網絡語料庫2017和愛沙尼亞維基百科語料庫2017。

性能優勢

與mBERT和XLM - RoBERTa相比，EstBERT在詞性標註（POS）、命名實體識別（NER）、分類和情感分類任務中表現更優。以下是對比結果：

📚 詳細文檔

引用參考

Tanvir et al 2021

BibTeX引用

@misc{tanvir2020estbert,
      title={EstBERT: A Pretrained Language-Specific BERT for Estonian}, 
      author={Hasan Tanvir and Claudia Kittask and Kairit Sirts},
      year={2020},
      eprint={2011.04784},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

📄 許可證

本項目採用CC - BY - 4.0許可證。