Tielectra Small

🚀 ティグレ語用の事前学習済みELECTRA smallモデル

このモデルは、4000万以上のトークンを含むTLMDデータセットを使用して、ELECTRA smallを事前学習したものです。 FlaxとPyTorchで学習されたモデルが含まれています。

🚀 クイックスタート

この事前学習済みモデルは、ティグレ語に特化しており、ティグレ語の自然言語処理タスクに利用できます。

📚 ドキュメント

ハイパーパラメータ

上記のモデルサイズに対応するハイパーパラメータは以下の通りです。

(L = レイヤー数; AH = アテンションヘッド数; HS = 隠れ層のサイズ; FFN = フィードフォワードネットワークの次元; P = パラメータ数; Seq = 最大シーケンス長)

フレームワークのバージョン

• Transformers 4.12.0.dev0
• Pytorch 1.9.0+cu111
• Datasets 1.13.3
• Tokenizers 0.10.3

📄 引用

このモデルをあなたの製品や研究で使用する場合は、以下のように引用してください。

@article{Fitsum2021TiPLMs,
  author={Fitsum Gaim and Wonsuk Yang and Jong C. Park},
  title={Monolingual Pre-trained Language Models for Tigrinya},
  year=2021,
  publisher={WiNLP 2021 at EMNLP 2021}
}