Guwenbert Large

🚀 GuwenBERT

GuwenBERT是一个在文言文上预训练的RoBERTa模型。它可以针对下游任务进行微调，例如断句、标点标注、命名实体识别等，为文言文相关的自然语言处理任务提供了强大的支持。

🚀 快速开始

你可以按照以下代码示例来使用GuwenBERT：

from transformers import AutoTokenizer, AutoModel

tokenizer = AutoTokenizer.from_pretrained("ethanyt/guwenbert-large")

model = AutoModel.from_pretrained("ethanyt/guwenbert-large")

✨ 主要特性

• 基于RoBERTa架构，在大量文言文数据上进行预训练。
• 可针对多种下游任务进行微调，如断句、标点标注、命名实体识别等。

📦 安装指南

文档中未提及具体安装命令，若需使用可参考transformers库的安装方式。

💻 使用示例

基础用法

from transformers import AutoTokenizer, AutoModel

tokenizer = AutoTokenizer.from_pretrained("ethanyt/guwenbert-large")

model = AutoModel.from_pretrained("ethanyt/guwenbert-large")

📚 详细文档

模型描述

GuwenBERT是一个在文言文上预训练的RoBERTa模型。你可以对GuwenBERT进行微调以用于下游任务，如断句、标点标注、命名实体识别等。 关于RoBERTa的更多信息，请查看RoBERTa的官方仓库。

训练数据

训练数据为殆知阁古代文献数据集，包含15,694本文言文书籍，涵盖佛教、儒家、医学、历史、子部、易部、经藏、史藏、道教和集藏等领域。其中76%的书籍带有标点。总字符数为17亿（1,743,337,673）。所有繁体字都已转换为简体字。词汇表由此数据集构建而成，大小为23,292。

训练过程

模型使用hfl/chinese-roberta-wwm-ext-large进行初始化，然后采用两步策略进行预训练。 第一步，模型仅更新词嵌入进行掩码语言模型（MLM）学习，直至收敛。第二步，在训练过程中更新所有参数。 模型在4块V100 GPU上训练了120K步（第一步20K步，第二步100K步），批次大小为2,048，序列长度为512。使用的优化器是Adam，学习率为1e - 4，adam - betas为(0.9, 0.98)，adam - eps为1e - 6，权重衰减为0.01，学习率在5K步内进行热身，之后线性衰减。

评估结果

“古联杯”古籍命名实体识别评测

在比赛中获得第二名。详细测试结果如下：

🔧 技术细节

模型基于RoBERTa架构，使用特定的预训练策略和训练参数，在大量文言文数据上进行训练，以学习文言文的语言模式和语义信息。

📄 许可证

本项目采用Apache - 2.0许可证。

关于我们

我们来自北京理工大学的Datahammer。如需更多合作，请发送邮件至：ethanyt [at] qq.com

由谭炎 [](https://github.com/Ethan - yt) 和池泽文 用心打造