Dictabert

🚀 DictaBERT: 現代ヘブライ語の最先端BERTスイート

現代ヘブライ語用の最先端言語モデルで、こちらで公開されています。

これは、マスク言語モデリングの目的で事前学習されたベースモデルです。

他のタスク用のbert-baseモデルについては、こちらを参照してください。

🚀 クイックスタート

💻 使用例

基本的な使用法

from transformers import AutoModelForMaskedLM, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained('dicta-il/dictabert')
model = AutoModelForMaskedLM.from_pretrained('dicta-il/dictabert')

model.eval()

sentence = 'בשנת 1948 השלים אפרים קישון את [MASK] בפיסול מתכת ובתולדות האמנות והחל לפרסם מאמרים הומוריסטיים'

output = model(tokenizer.encode(sentence, return_tensors='pt'))
# the [MASK] is the 7th token (including [CLS])
import torch
top_2 = torch.topk(output.logits[0, 7, :], 2)[1]
print('\n'.join(tokenizer.convert_ids_to_tokens(top_2))) # should print מחקרו / התמחותו 

📚 ドキュメント

引用

DictaBERTを研究で使用する場合は、DictaBERT: A State-of-the-Art BERT Suite for Modern Hebrew を引用してください。

BibTeX:

@misc{shmidman2023dictabert,
      title={DictaBERT: A State-of-the-Art BERT Suite for Modern Hebrew}, 
      author={Shaltiel Shmidman and Avi Shmidman and Moshe Koppel},
      year={2023},
      eprint={2308.16687},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

📄 ライセンス

Shield:

この作品は、Creative Commons Attribution 4.0 International Licenseの下でライセンスされています。