Tibert Base

🚀 ティグレ語用BERT Baseモデル

このモデルは、4000万トークンのデータセットで40エポックの事前学習を行った、ティグレ語用のBERT base-uncasedモデルです。

このリポジトリには、TPU v3.8で学習された元のFlax事前学習モデルと、それに対応するPyTorchバージョンが含まれています。

📚 詳細ドキュメント

ハイパーパラメータ

上記のモデルサイズに対応するハイパーパラメータは以下の通りです。

（L = レイヤー数; AH = アテンションヘッド数; HS = 隠れ層サイズ; FFN = フィードフォワードネットワーク次元; P = パラメータ数; Seq = 最大シーケンス長）

📄 引用

このモデルをあなたの製品や研究で使用する場合は、以下のように引用してください。

@article{Fitsum2021TiPLMs,
  author={Fitsum Gaim and Wonsuk Yang and Jong C. Park},
  title={Monolingual Pre-trained Language Models for Tigrinya},
  year=2021,
  publisher={WiNLP 2021 at EMNLP 2021}
}