Tookabert Large

🚀 TookaBERT模型

TookaBERT是一系列基於波斯語訓練的編碼器模型，有基礎版和大模型版兩種規格。該模型在超過500GB的波斯語數據上進行預訓練，數據涵蓋新聞、博客、論壇、書籍等多種主題。它們採用MLM（WWM）目標函數，在兩種上下文長度下進行預訓練。TookaBERT-Large是首個基於波斯語預訓練的大型編碼器模型，目前在波斯語任務中處於領先水平。

如需瞭解更多信息，可閱讀我們發表在arXiv上的論文。

🚀 快速開始

✨ 主要特性

• TookaBERT模型有基礎版和大模型版兩種規格。
• 在超500GB的波斯語數據上進行預訓練，數據主題豐富。
• 採用MLM（WWM）目標函數，在兩種上下文長度下預訓練。
• TookaBERT-Large是首個基於波斯語預訓練的大型編碼器模型，在波斯語任務中表現出色。

📦 安裝指南

文檔未提及安裝步驟，此章節跳過。

💻 使用示例

基礎用法

你可以使用以下代碼直接進行掩碼語言建模：

from transformers import AutoTokenizer, AutoModelForMaskedLM

tokenizer = AutoTokenizer.from_pretrained("PartAI/TookaBERT-Large")
model = AutoModelForMaskedLM.from_pretrained("PartAI/TookaBERT-Large")

# prepare input
text = "شهر برلین در کشور <mask> واقع شده است."
encoded_input = tokenizer(text, return_tensors='pt')

# forward pass
output = model(**encoded_input)

高級用法

也可以使用推理管道，示例如下：

from transformers import pipeline

inference_pipeline = pipeline('fill-mask', model="PartAI/TookaBERT-Large")
inference_pipeline("شهر برلین در کشور <mask> واقع شده است.")

你還可以使用該模型在自己的數據集上進行微調，以適應特定任務，如：

• DeepSentiPers（情感分析）
• ParsiNLU - Multiple-choice（多項選擇）

📚 詳細文檔

TookaBERT模型在一系列NLP下游任務中進行了評估，包括情感分析（SA）、文本分類、多項選擇、問答和命名實體識別（NER）。以下是一些關鍵性能結果：

⚠️ 重要提示

由於微調過程中的隨機性，差異小於1%的結果視為相同。

📄 許可證

本模型採用Apache-2.0許可證。

🔧 技術細節

文檔未提及技術實現細節，此章節跳過。

聯繫我們

如果你對該模型有任何疑問，可以通過Hugging Face上的社區與我們聯繫。