Tielectra Small

🚀 提格雷尼亞語預訓練ELECTRA small模型

本項目針對提格雷尼亞語，在TLMD數據集（包含超過4000萬個標記）上預訓練了ELECTRA small模型。項目中包含了經過訓練的Flax和PyTorch模型。

🚀 快速開始

本項目提供了提格雷尼亞語的預訓練ELECTRA small模型，可用於相關的自然語言處理任務。

✨ 主要特性

• 在大規模提格雷尼亞語數據集上進行預訓練，擁有超過4000萬個標記。
• 提供了Flax和PyTorch兩種框架的訓練模型。

📚 詳細文檔

超參數

上述模型規模對應的超參數如下：

（L = 層數；AH = 注意力頭數；HS = 隱藏層大小；FFN = 前饋網絡維度；P = 參數數量；Seq = 最大序列長度。）

框架版本

• Transformers 4.12.0.dev0
• Pytorch 1.9.0+cu111
• Datasets 1.13.3
• Tokenizers 0.10.3

📄 許可證

文檔中未提及相關許可證信息。

📚 引用

如果您在產品或研究中使用了此模型，請按以下格式引用：

@article{Fitsum2021TiPLMs,
  author={Fitsum Gaim and Wonsuk Yang and Jong C. Park},
  title={Monolingual Pre-trained Language Models for Tigrinya},
  year=2021,
  publisher={WiNLP 2021 at EMNLP 2021}
}