Dictabert

🚀 DictaBERT：現代希伯來語的先進BERT套件

DictaBERT是一款用於希伯來語的先進語言模型，它為希伯來語的自然語言處理任務提供了強大的支持。該模型相關信息可在此處查看。它是基於掩碼語言建模目標進行預訓練的基礎模型。對於其他任務的bert-base模型，可查看這裡。

🚀 快速開始

DictaBERT是一款為希伯來語設計的先進語言模型，以下是使用該模型的示例代碼：

from transformers import AutoModelForMaskedLM, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained('dicta-il/dictabert')
model = AutoModelForMaskedLM.from_pretrained('dicta-il/dictabert')

model.eval()

sentence = 'בשנת 1948 השלים אפרים קישון את [MASK] בפיסול מתכת ובתולדות האמנות והחל לפרסם מאמרים הומוריסטיים'

output = model(tokenizer.encode(sentence, return_tensors='pt'))
# the [MASK] is the 7th token (including [CLS])
import torch
top_2 = torch.topk(output.logits[0, 7, :], 2)[1]
print('\n'.join(tokenizer.convert_ids_to_tokens(top_2))) # should print מחקרו / התמחותו 

📚 詳細文檔

引用說明

如果您在研究中使用了DictaBERT，請引用DictaBERT: A State-of-the-Art BERT Suite for Modern Hebrew。 BibTeX格式如下：

@misc{shmidman2023dictabert,
      title={DictaBERT: A State-of-the-Art BERT Suite for Modern Hebrew}, 
      author={Shaltiel Shmidman and Avi Shmidman and Moshe Koppel},
      year={2023},
      eprint={2308.16687},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

📄 許可證

Shield:

本作品採用知識共享署名 4.0 國際許可協議進行許可。