Roberta Large Finetuned Abbr

🚀 微调版大型RoBERTa命名实体识别模型

本模型是在PLOD-unfiltered数据集上对roberta-large进行微调后的版本。它在解决命名实体识别问题上表现出色，能够精准地识别文本中的实体信息，为相关自然语言处理任务提供有力支持。

🚀 快速开始

本模型是在 PLOD-unfiltered 数据集上对 roberta-large 进行微调后的版本。它在评估集上取得了以下成绩：

• 损失值：0.1393
• 精确率：0.9663
• 召回率：0.9627
• F1值：0.9645
• 准确率：0.9608

✨ 主要特性

模型描述

RoBERTa 是一个基于自监督学习方式，在大量英文文本语料库上预训练的 Transformer 模型。这意味着它仅在原始文本上进行预训练，没有人工对其进行任何标注（这也是它可以利用大量公开可用数据的原因），并通过自动流程从这些文本中生成输入和标签。

更确切地说，它是通过掩码语言模型（Masked Language Modeling，MLM）目标进行预训练的。对于一个句子，模型会随机掩码输入中 15% 的单词，然后将整个掩码后的句子输入模型，让模型预测被掩码的单词。这与传统的循环神经网络（RNNs）不同，RNNs 通常是逐个处理单词；也与像 GPT 这样的自回归模型不同，自回归模型会在内部掩码未来的标记。这种方式使模型能够学习到句子的双向表示。

通过这种方式，模型学习到英语语言的内部表示，这些表示可用于提取对下游任务有用的特征。例如，如果你有一个带标签句子的数据集，你可以使用 BERT 模型生成的特征作为输入，训练一个标准的分类器。

📚 详细文档

预期用途和限制

更多信息待补充。

训练和评估数据

该模型使用 PLOD-Unfiltered 数据集进行微调。此数据集用于模型的训练和评估。PLOD 数据集于 2022 年在 LREC 会议上发布，该数据集有助于构建用于缩写检测任务的序列标注模型。

训练过程

训练超参数

训练过程中使用了以下超参数：

• 学习率：2e - 05
• 训练批次大小：8
• 评估批次大小：4
• 随机种子：42
• 优化器：Adam，β=(0.9, 0.999)，ε=1e - 08
• 学习率调度器类型：线性
• 训练轮数：6

训练结果

框架版本

• Transformers：4.18.0
• Pytorch：1.10.1+cu111
• Datasets：2.1.0
• Tokenizers：0.12.1

📄 许可证

本项目采用 MIT 许可证。

📋 模型信息