Tookabert Base

🚀 TookaBERT模型

TookaBERT模型是一系列基於波斯語訓練的編碼器模型，有基礎和大型兩種規格。這些模型在超過500GB的波斯語數據上進行預訓練，數據涵蓋新聞、博客、論壇、書籍等多種主題。它們使用兩種上下文長度，以MLM（WWM）為目標進行預訓練。

🚀 快速開始

你可以使用下面提供的代碼，直接將此模型用於掩碼語言建模任務。

from transformers import AutoTokenizer, AutoModelForMaskedLM

tokenizer = AutoTokenizer.from_pretrained("PartAI/TookaBERT-Base")
model = AutoModelForMaskedLM.from_pretrained("PartAI/TookaBERT-Base")

# prepare input
text = "شهر برلین در کشور <mask> واقع شده است."
encoded_input = tokenizer(text, return_tensors='pt')

# forward pass
output = model(**encoded_input)

也可以使用如下的推理管道：

from transformers import pipeline

inference_pipeline = pipeline('fill-mask', model="PartAI/TookaBERT-Base")
inference_pipeline("شهر برلین در کشور <mask> واقع شده است.")

你還可以使用該模型在自己的數據集上進行微調，以適配特定任務。

• DeepSentiPers（情感分析）
• ParsiNLU - 多項選擇（多項選擇）

✨ 主要特性

TookaBERT模型是一系列針對波斯語訓練的編碼器模型，有基礎和大型兩種規格。這些模型在超過500GB的波斯語數據上進行預訓練，數據來源廣泛，包括新聞、博客、論壇、書籍等。它們採用兩種上下文長度，並以MLM（WWM）為目標進行預訓練。

📚 詳細文檔

如需更多信息，你可以閱讀我們發表在 arXiv 上的論文。

🔧 技術細節

TookaBERT模型在多種NLP下游任務上進行了評估，包括情感分析（SA）、文本分類、多項選擇、問答和命名實體識別（NER）等。以下是一些關鍵的性能結果：

*注意：由於微調過程中的隨機性，差異小於1%的結果視為相同。

📄 許可證

本項目採用Apache - 2.0許可證。

💬 聯繫我們

如果你對該模型有任何疑問，可以通過Hugging Face上的社區與我們取得聯繫。