Bert Base Bg

🚀 BERT BASE (cased)

这是一个基于保加利亚语的预训练模型，采用掩码语言建模（MLM）目标进行训练。该模型在 这篇论文 中被提出，并首次在 这个仓库 中发布。此模型区分大小写，即能区分 “bulgarian” 和 “Bulgarian”。

🚀 快速开始

本模型是在保加利亚语上进行预训练的，采用了掩码语言建模（MLM）目标。它可以用于处理保加利亚语相关的自然语言处理任务。

✨ 主要特性

• 基于保加利亚语进行预训练，适用于保加利亚语相关任务。
• 区分大小写，能更好地处理文本语义。

📦 安装指南

文档未提及安装步骤，此处跳过。

💻 使用示例

基础用法

>>> from transformers import pipeline
>>> 
>>> model = pipeline(
>>>     'fill-mask',
>>>     model='rmihaylov/bert-base-bg',
>>>     tokenizer='rmihaylov/bert-base-bg',
>>>     device=0,
>>>     revision=None)
>>> output = model("София е [MASK] на България.")
>>> print(output)

[{'score': 0.12665307521820068,
  'sequence': 'София е  столица на България.',
  'token': 2659,
  'token_str': 'столица'},
 {'score': 0.07470757514238358,
  'sequence': 'София е Перлата на България.',
  'token': 102146,
  'token_str': 'Перлата'},
 {'score': 0.06786204129457474,
  'sequence': 'София е  Столицата на България.',
  'token': 45495,
  'token_str': 'Столицата'},
 {'score': 0.05533991754055023,
  'sequence': 'София е  Столица на България.',
  'token': 100524,
  'token_str': 'Столица'},
 {'score': 0.05485989898443222,
  'sequence': 'София е  столицата на България.',
  'token': 2294,
  'token_str': 'столицата'}]

📚 详细文档

模型描述

该模型的训练方式与 RuBert 类似，后者是将多语言Bert适配到俄语上。

训练数据来自 OSCAR、Chitanka 和 Wikipedia 的保加利亚语文本。

信息表格

📄 许可证

本模型采用MIT许可证。