Tibert Base

🚀 提格雷尼亞語BERT基礎模型

本項目預訓練了一個用於提格雷尼亞語的BERT基礎無大小寫模型。該模型在包含4000萬個標記的數據集上進行了40個輪次的訓練。

本倉庫包含最初在TPU v3.8上訓練的Flax預訓練模型及其對應的PyTorch版本。

🚀 快速開始

此部分原文檔未提供具體快速開始的內容，若有相關需求，可參考模型的加載和使用代碼示例進行操作。

✨ 主要特性

• 針對提格雷尼亞語進行預訓練，能更好地處理該語言相關任務。
• 提供了Flax和PyTorch兩種版本的模型，方便不同用戶使用。

📦 安裝指南

原文檔未提及安裝步驟，暫無法提供。

💻 使用示例

原文檔未提供代碼示例，暫無法展示。

📚 詳細文檔

超參數

上述模型大小對應的超參數如下：

（L = 層數；AH = 注意力頭數；HS = 隱藏層大小；FFN = 前饋網絡維度；P = 參數數量；Seq = 最大序列長度。）

🔧 技術細節

原文檔未提供詳細技術實現細節，暫無法介紹。

📄 許可證

原文檔未提及許可證信息，暫無法說明。

📄 引用信息

如果您在產品或研究中使用此模型，請按以下格式引用：

@article{Fitsum2021TiPLMs,
  author={Fitsum Gaim and Wonsuk Yang and Jong C. Park},
  title={Monolingual Pre-trained Language Models for Tigrinya},
  year=2021,
  publisher={WiNLP 2021 at EMNLP 2021}
}