Tunbert Zied

🚀 tunbert_zied

tunbert_zied 是一款基於與 RoBERTa 模型相似架構的語言模型，由 zied sbabti 創建，專門用於處理突尼斯方言。該模型使用超過 600,000 條突尼斯方言短語進行訓練。

🚀 快速開始

加載 tunbert_zied 及其子詞分詞器。

請勿使用 <em>AutoTokenizer.from_pretrained(...)</em> 方法加載分詞器，而應使用 <em>BertTokeinzer.from_pretrained(...)</em> 方法。（這是因為我沒有使用 RoBERTa 模型的內置分詞器（即 GPT 分詞器），而是使用了 BertTokenizer）

💻 使用示例

基礎用法

import transformers as tr

tokenizer = tr.BertTokenizer.from_pretrained("ziedsb19/tunbert_zied")

model = tr.AutoModelForMaskedLM.from_pretrained("ziedsb19/tunbert_zied")

pipeline = tr.pipeline("fill-mask", model= model, tokenizer=tokenizer)

#test the model by masking a word in a phrase with [MASK]
pipeline("Ahla winek [MASK] lioum ?")

#results 
"""
[{'sequence': 'ahla winek cv lioum?',
  'score': 0.07968682795763016,
  'token': 869,
  'token_str': 'c v'},
 {'sequence': 'ahla winek enty lioum?',
  'score': 0.06116843968629837,
  'token': 448,
  'token_str': 'e n t y'},
 {'sequence': 'ahla winek ch3amla lioum?',
  'score': 0.057379286736249924,
  'token': 7342,
  'token_str': 'c h 3 a m l a'},
 {'sequence': 'ahla winek cha3malt lioum?',
  'score': 0.028112901374697685,
  'token': 4663,
  'token_str': 'c h a 3 m a l t'},
 {'sequence': 'ahla winek enti lioum?',
  'score': 0.025781650096178055,
  'token': 436,
  'token_str': 'e n t i'}]
"""

✍️ 作者

• zied sbabti - 提出想法並完成初始工作