Dictabert

🚀 DictaBERT：现代希伯来语的先进BERT套件

DictaBERT是一款用于希伯来语的先进语言模型，它为希伯来语的自然语言处理任务提供了强大的支持。该模型相关信息可在此处查看。它是基于掩码语言建模目标进行预训练的基础模型。对于其他任务的bert-base模型，可查看这里。

🚀 快速开始

DictaBERT是一款为希伯来语设计的先进语言模型，以下是使用该模型的示例代码：

from transformers import AutoModelForMaskedLM, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained('dicta-il/dictabert')
model = AutoModelForMaskedLM.from_pretrained('dicta-il/dictabert')

model.eval()

sentence = 'בשנת 1948 השלים אפרים קישון את [MASK] בפיסול מתכת ובתולדות האמנות והחל לפרסם מאמרים הומוריסטיים'

output = model(tokenizer.encode(sentence, return_tensors='pt'))
# the [MASK] is the 7th token (including [CLS])
import torch
top_2 = torch.topk(output.logits[0, 7, :], 2)[1]
print('\n'.join(tokenizer.convert_ids_to_tokens(top_2))) # should print מחקרו / התמחותו 

📚 详细文档

引用说明

如果您在研究中使用了DictaBERT，请引用DictaBERT: A State-of-the-Art BERT Suite for Modern Hebrew。 BibTeX格式如下：

@misc{shmidman2023dictabert,
      title={DictaBERT: A State-of-the-Art BERT Suite for Modern Hebrew}, 
      author={Shaltiel Shmidman and Avi Shmidman and Moshe Koppel},
      year={2023},
      eprint={2308.16687},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

📄 许可证

Shield:

本作品采用知识共享署名 4.0 国际许可协议进行许可。