Czert B Base Cased Long Zero Shot

🚀 CZERT

本仓库保存了论文 Czert – Czech BERT-like Model for Language Representation 中训练好的 Czert-B-base-cased-long-zero-shot 模型。更多信息请参考该论文。

这是 Czert-B-base-cased 的长文档版本，未在长文档上进行任何微调。位置嵌入是通过简单重复原始 Czert-B 模型的位置嵌入创建的。分词请使用 BertTokenizer，不能与 AutoTokenizer 一起使用。

🚀 快速开始

本项目提供了预训练模型和微调模型，可用于多种自然语言处理任务，如情感分类、语义文本相似度、多标签文档分类、命名实体识别、形态标注和语义角色标注等。以下将详细介绍可用模型、使用方法和下游任务微调结果。

✨ 主要特性

• 提供了多种预训练和微调模型，适用于不同的自然语言处理任务。
• 对多种下游任务进行了评估，包括句子级、文档级和词元级任务。
• 与其他模型（如 mBERT、SlavicBERT 等）进行了对比，展示了良好的性能。

📚 详细文档

可用模型

你可以下载 仅 MLM & NSP 预训练模型： CZERT-A-v1 CZERT-B-v1

经过一些额外实验，我们发现分词器配置导出错误。在 Czert-B-v1 中，分词器参数 "do_lower_case" 错误地设置为 true；在 Czert-A-v1 中，参数 "strip_accents" 错误地设置为 true。

这两个错误在 v2 中已修复： CZERT-A-v2 CZERT-B-v2

或者从 微调模型 中选择：

如何使用 CZERT？

句子级任务

我们在两个句子级任务上评估了我们的模型：

• 情感分类
• 语义文本相似度

# 示例代码（注释保持原样）
# tokenizer = BertTokenizerFast.from_pretrained(CZERT_MODEL_PATH, strip_accents=False)  
# model = TFAlbertForSequenceClassification.from_pretrained(CZERT_MODEL_PATH, num_labels=1)
    
# or
    
# self.tokenizer = BertTokenizerFast.from_pretrained(CZERT_MODEL_PATH, strip_accents=False)
# self.model_encoder = AutoModelForSequenceClassification.from_pretrained(CZERT_MODEL_PATH, from_tf=True)

文档级任务

我们在一个文档级任务上评估了我们的模型：

• 多标签文档分类

词元级任务

我们在三个词元级任务上评估了我们的模型：

• 命名实体识别
• 形态标注
• 语义角色标注

下游任务微调结果

情感分类

情感分类任务的平均 F1 结果。更多信息请参考 论文。

语义文本相似度

预训练的 CZERT-A、CZERT-B、mBERT、Pavlov 和随机初始化的 Albert 在语义文本相似度上的皮尔逊相关系数比较。更多信息请参考 论文。

多标签文档分类

预训练的 CZERT-A、CZERT-B、mBERT、Pavlov 和随机初始化的 Albert 在多标签文档分类上的 F1 和 AUROC 分数比较。更多信息请参考 论文。

形态标注

预训练的 CZERT-A、CZERT-B、mBERT、Pavlov 和随机初始化的 Albert 在形态标注任务上的 F1 分数比较。更多信息请参考 论文。

语义角色标注

SRL 结果 – 依存关系列使用 CoNLL 2009 评估脚本的带标签 F1 进行评估，其他列使用与 NER 评估相同的跨度 F1 分数进行评估。更多信息请参考 论文。

命名实体识别

预训练的 CZERT-A、CZERT-B、mBERT、Pavlov 和随机初始化的 Albert 在命名实体识别任务上的 F1 分数比较。更多信息请参考 论文。

📄 许可证

本作品采用 知识共享署名 - 非商业性使用 - 相同方式共享 4.0 国际许可协议 进行许可。

如何引用 CZERT？

目前，请引用 Arxiv 论文：

@article{sido2021czert,
      title={Czert -- Czech BERT-like Model for Language Representation}, 
      author={Jakub Sido and Ondřej Pražák and Pavel Přibáň and Jan Pašek and Michal Seják and Miloslav Konopík},
      year={2021},
      eprint={2103.13031},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      journal={arXiv preprint arXiv:2103.13031},
}