Bert Base Bg

🚀 BERT BASE (cased)

這是一個基於保加利亞語的預訓練模型，採用掩碼語言建模（MLM）目標進行訓練。該模型在 這篇論文 中被提出，並首次在 這個倉庫 中發佈。此模型區分大小寫，即能區分 “bulgarian” 和 “Bulgarian”。

🚀 快速開始

本模型是在保加利亞語上進行預訓練的，採用了掩碼語言建模（MLM）目標。它可以用於處理保加利亞語相關的自然語言處理任務。

✨ 主要特性

• 基於保加利亞語進行預訓練，適用於保加利亞語相關任務。
• 區分大小寫，能更好地處理文本語義。

📦 安裝指南

文檔未提及安裝步驟，此處跳過。

💻 使用示例

基礎用法

>>> from transformers import pipeline
>>> 
>>> model = pipeline(
>>>     'fill-mask',
>>>     model='rmihaylov/bert-base-bg',
>>>     tokenizer='rmihaylov/bert-base-bg',
>>>     device=0,
>>>     revision=None)
>>> output = model("София е [MASK] на България.")
>>> print(output)

[{'score': 0.12665307521820068,
  'sequence': 'София е  столица на България.',
  'token': 2659,
  'token_str': 'столица'},
 {'score': 0.07470757514238358,
  'sequence': 'София е Перлата на България.',
  'token': 102146,
  'token_str': 'Перлата'},
 {'score': 0.06786204129457474,
  'sequence': 'София е  Столицата на България.',
  'token': 45495,
  'token_str': 'Столицата'},
 {'score': 0.05533991754055023,
  'sequence': 'София е  Столица на България.',
  'token': 100524,
  'token_str': 'Столица'},
 {'score': 0.05485989898443222,
  'sequence': 'София е  столицата на България.',
  'token': 2294,
  'token_str': 'столицата'}]

📚 詳細文檔

模型描述

該模型的訓練方式與 RuBert 類似，後者是將多語言Bert適配到俄語上。

訓練數據來自 OSCAR、Chitanka 和 Wikipedia 的保加利亞語文本。

信息表格

📄 許可證

本模型採用MIT許可證。