Czert B Base Cased

🚀 CZERT

本仓库保存了论文 Czert – Czech BERT-like Model for Language Representation 中训练好的 Czert-B 模型。欲了解更多信息，请查阅该论文。

🚀 快速开始

本项目提供了多种预训练和微调后的 CZERT 模型，可用于不同的自然语言处理任务。你可以根据需求下载相应的模型进行使用。

✨ 主要特性

• 提供了预训练的 MLM & NSP 模型以及多个针对不同下游任务的微调模型。
• 在多个下游任务（如情感分类、语义文本相似度、多标签文档分类等）上进行了评估，并取得了不错的效果。

📦 可用模型

预训练模型

你可以下载 仅用于 MLM & NSP 的预训练模型： CZERT-A-v1 CZERT-B-v1

经过额外实验，我们发现分词器配置导出有误。在 Czert-B-v1 中，分词器参数 "do_lower_case" 被错误地设置为 true；在 Czert-A-v1 中，参数 "strip_accents" 被错误地设置为 true。

这两个问题在 v2 版本中已得到修复： CZERT-A-v2 CZERT-B-v2

微调模型

你也可以从以下 微调模型 中进行选择：

💻 使用示例

句子级任务

我们在两个句子级任务上对模型进行了评估：

• 情感分类
• 语义文本相似度

文档级任务

我们在一个文档级任务上对模型进行了评估：

• 多标签文档分类

词元级任务

我们在三个词元级任务上对模型进行了评估：

• 命名实体识别
• 形态标注
• 语义角色标注

📚 详细文档

下游任务微调结果

情感分类

情感分类任务的平均 F1 结果。欲了解更多信息，请查阅 论文。

语义文本相似度

使用预训练的 CZERT-A、CZERT-B、mBERT、Pavlov 和随机初始化的 Albert 在语义文本相似度任务上实现的皮尔逊相关系数比较。欲了解更多信息，请查阅 论文。

多标签文档分类

使用预训练的 CZERT-A、CZERT-B、mBERT、Pavlov 和随机初始化的 Albert 在多标签文档分类任务上实现的 F1 和 AUROC 分数比较。欲了解更多信息，请查阅 论文。

形态标注

使用预训练的 CZERT-A、CZERT-B、mBERT、Pavlov 和随机初始化的 Albert 在形态标注任务上实现的 F1 分数比较。欲了解更多信息，请查阅 论文。

语义角色标注

SRL 结果 – 依赖关系列使用 CoNLL 2009 评估脚本的带标签 F1 进行评估，其他列使用与命名实体识别评估相同的跨度 F1 分数进行评估。欲了解更多信息，请查阅 论文。

命名实体识别

使用预训练的 CZERT-A、CZERT-B、mBERT、Pavlov 和随机初始化的 Albert 在命名实体识别任务上实现的 F1 分数比较。欲了解更多信息，请查阅 论文。

📄 许可证

本作品采用 知识共享署名 - 非商业性使用 - 相同方式共享 4.0 国际许可协议 进行许可。

🔗 引用方式

目前，请引用 Arxiv 论文：

@article{sido2021czert,
      title={Czert -- Czech BERT-like Model for Language Representation}, 
      author={Jakub Sido and Ondřej Pražák and Pavel Přibáň and Jan Pašek and Michal Seják and Miloslav Konopík},
      year={2021},
      eprint={2103.13031},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      journal={arXiv preprint arXiv:2103.13031},
}