Span Marker Roberta Large Fewnerd Fine Super

🚀 SpanMarker结合roberta-large在FewNERD数据集上的应用

本项目是一个基于 SpanMarker 模型，在 FewNERD 数据集上训练得到的命名实体识别模型。该SpanMarker模型使用 roberta-large 作为基础编码器。训练脚本见 train.py。

🚀 快速开始

直接使用

from span_marker import SpanMarkerModel

# 从🤗 Hub下载模型
model = SpanMarkerModel.from_pretrained("tomaarsen/span-marker-roberta-large-fewnerd-fine-super")
# 进行推理
entities = model.predict("Most of the Steven Seagal movie ``Under Siege`` (co-starring Tommy Lee Jones) was filmed aboard the Battleship USS Alabama, which is docked on Mobile Bay at Battleship Memorial Park and open to the public.")

下游使用

你可以在自己的数据集上对该模型进行微调。

from span_marker import SpanMarkerModel, Trainer

# 从🤗 Hub下载模型
model = SpanMarkerModel.from_pretrained("tomaarsen/span-marker-roberta-large-fewnerd-fine-super")

# 指定一个包含 "tokens" 和 "ner_tag" 列的数据集
dataset = load_dataset("conll2003") # 例如CoNLL2003

# 使用预训练模型和数据集初始化一个Trainer
trainer = Trainer(
    model=model,
    train_dataset=dataset["train"],
    eval_dataset=dataset["validation"],
)
trainer.train()
trainer.save_model("tomaarsen/span-marker-roberta-large-fewnerd-fine-super-finetuned")

✨ 主要特性

• 可用于命名实体识别任务。
• 使用roberta-large作为基础编码器，具有较强的特征提取能力。
• 支持在自己的数据集上进行微调。

📦 安装指南

文档未提及安装步骤，故跳过该章节。

💻 使用示例

基础用法

from span_marker import SpanMarkerModel

# 从🤗 Hub下载模型
model = SpanMarkerModel.from_pretrained("tomaarsen/span-marker-roberta-large-fewnerd-fine-super")
# 进行推理
entities = model.predict("Most of the Steven Seagal movie ``Under Siege`` (co-starring Tommy Lee Jones) was filmed aboard the Battleship USS Alabama, which is docked on Mobile Bay at Battleship Memorial Park and open to the public.")

高级用法

from span_marker import SpanMarkerModel, Trainer

# 从🤗 Hub下载模型
model = SpanMarkerModel.from_pretrained("tomaarsen/span-marker-roberta-large-fewnerd-fine-super")

# 指定一个包含 "tokens" 和 "ner_tag" 列的数据集
dataset = load_dataset("conll2003") # 例如CoNLL2003

# 使用预训练模型和数据集初始化一个Trainer
trainer = Trainer(
    model=model,
    train_dataset=dataset["train"],
    eval_dataset=dataset["validation"],
)
trainer.train()
trainer.save_model("tomaarsen/span-marker-roberta-large-fewnerd-fine-super-finetuned")

📚 详细文档

模型详情

模型描述

模型来源

• 仓库：GitHub上的SpanMarker
• 论文：SpanMarker For Named Entity Recognition

模型标签

训练详情

训练集指标

训练超参数

• 学习率：1e-05
• 训练批次大小：8
• 评估批次大小：8
• 随机种子：42
• 优化器：Adam（β1=0.9，β2=0.999，ε=1e-08）
• 学习率调度器类型：线性
• 学习率调度器热身比例：0.1
• 训练轮数：3

训练硬件

• 是否使用云服务：否
• GPU型号：1 x NVIDIA GeForce RTX 3090
• CPU型号：13th Gen Intel(R) Core(TM) i7-13700K
• 内存大小：31.78 GB

框架版本

• Python：3.9.16
• SpanMarker：1.3.1.dev
• Transformers：4.29.2
• PyTorch：2.0.1+cu118
• Datasets：2.14.3
• Tokenizers：0.13.2

🔧 技术细节

文档未提供具体的技术实现细节，故跳过该章节。

📄 许可证

本模型使用的许可证为 cc-by-sa-4.0。