Tookabert Large

🚀 TookaBERT模型

TookaBERT是一系列基于波斯语训练的编码器模型，有基础版和大模型版两种规格。该模型在超过500GB的波斯语数据上进行预训练，数据涵盖新闻、博客、论坛、书籍等多种主题。它们采用MLM（WWM）目标函数，在两种上下文长度下进行预训练。TookaBERT-Large是首个基于波斯语预训练的大型编码器模型，目前在波斯语任务中处于领先水平。

如需了解更多信息，可阅读我们发表在arXiv上的论文。

🚀 快速开始

✨ 主要特性

• TookaBERT模型有基础版和大模型版两种规格。
• 在超500GB的波斯语数据上进行预训练，数据主题丰富。
• 采用MLM（WWM）目标函数，在两种上下文长度下预训练。
• TookaBERT-Large是首个基于波斯语预训练的大型编码器模型，在波斯语任务中表现出色。

📦 安装指南

文档未提及安装步骤，此章节跳过。

💻 使用示例

基础用法

你可以使用以下代码直接进行掩码语言建模：

from transformers import AutoTokenizer, AutoModelForMaskedLM

tokenizer = AutoTokenizer.from_pretrained("PartAI/TookaBERT-Large")
model = AutoModelForMaskedLM.from_pretrained("PartAI/TookaBERT-Large")

# prepare input
text = "شهر برلین در کشور <mask> واقع شده است."
encoded_input = tokenizer(text, return_tensors='pt')

# forward pass
output = model(**encoded_input)

高级用法

也可以使用推理管道，示例如下：

from transformers import pipeline

inference_pipeline = pipeline('fill-mask', model="PartAI/TookaBERT-Large")
inference_pipeline("شهر برلین در کشور <mask> واقع شده است.")

你还可以使用该模型在自己的数据集上进行微调，以适应特定任务，如：

• DeepSentiPers（情感分析）
• ParsiNLU - Multiple-choice（多项选择）

📚 详细文档

TookaBERT模型在一系列NLP下游任务中进行了评估，包括情感分析（SA）、文本分类、多项选择、问答和命名实体识别（NER）。以下是一些关键性能结果：

⚠️ 重要提示

由于微调过程中的随机性，差异小于1%的结果视为相同。

📄 许可证

本模型采用Apache-2.0许可证。

🔧 技术细节

文档未提及技术实现细节，此章节跳过。

联系我们

如果你对该模型有任何疑问，可以通过Hugging Face上的社区与我们联系。