Span Marker Roberta Large Fewnerd Fine Super

🚀 SpanMarker結合roberta-large在FewNERD數據集上的應用

本項目是一個基於 SpanMarker 模型，在 FewNERD 數據集上訓練得到的命名實體識別模型。該SpanMarker模型使用 roberta-large 作為基礎編碼器。訓練腳本見 train.py。

🚀 快速開始

直接使用

from span_marker import SpanMarkerModel

# 從🤗 Hub下載模型
model = SpanMarkerModel.from_pretrained("tomaarsen/span-marker-roberta-large-fewnerd-fine-super")
# 進行推理
entities = model.predict("Most of the Steven Seagal movie ``Under Siege`` (co-starring Tommy Lee Jones) was filmed aboard the Battleship USS Alabama, which is docked on Mobile Bay at Battleship Memorial Park and open to the public.")

下游使用

你可以在自己的數據集上對該模型進行微調。

from span_marker import SpanMarkerModel, Trainer

# 從🤗 Hub下載模型
model = SpanMarkerModel.from_pretrained("tomaarsen/span-marker-roberta-large-fewnerd-fine-super")

# 指定一個包含 "tokens" 和 "ner_tag" 列的數據集
dataset = load_dataset("conll2003") # 例如CoNLL2003

# 使用預訓練模型和數據集初始化一個Trainer
trainer = Trainer(
    model=model,
    train_dataset=dataset["train"],
    eval_dataset=dataset["validation"],
)
trainer.train()
trainer.save_model("tomaarsen/span-marker-roberta-large-fewnerd-fine-super-finetuned")

✨ 主要特性

• 可用於命名實體識別任務。
• 使用roberta-large作為基礎編碼器，具有較強的特徵提取能力。
• 支持在自己的數據集上進行微調。

📦 安裝指南

文檔未提及安裝步驟，故跳過該章節。

💻 使用示例

基礎用法

from span_marker import SpanMarkerModel

# 從🤗 Hub下載模型
model = SpanMarkerModel.from_pretrained("tomaarsen/span-marker-roberta-large-fewnerd-fine-super")
# 進行推理
entities = model.predict("Most of the Steven Seagal movie ``Under Siege`` (co-starring Tommy Lee Jones) was filmed aboard the Battleship USS Alabama, which is docked on Mobile Bay at Battleship Memorial Park and open to the public.")

高級用法

from span_marker import SpanMarkerModel, Trainer

# 從🤗 Hub下載模型
model = SpanMarkerModel.from_pretrained("tomaarsen/span-marker-roberta-large-fewnerd-fine-super")

# 指定一個包含 "tokens" 和 "ner_tag" 列的數據集
dataset = load_dataset("conll2003") # 例如CoNLL2003

# 使用預訓練模型和數據集初始化一個Trainer
trainer = Trainer(
    model=model,
    train_dataset=dataset["train"],
    eval_dataset=dataset["validation"],
)
trainer.train()
trainer.save_model("tomaarsen/span-marker-roberta-large-fewnerd-fine-super-finetuned")

📚 詳細文檔

模型詳情

模型描述

模型來源

• 倉庫：GitHub上的SpanMarker
• 論文：SpanMarker For Named Entity Recognition

模型標籤

訓練詳情

訓練集指標

訓練超參數

• 學習率：1e-05
• 訓練批次大小：8
• 評估批次大小：8
• 隨機種子：42
• 優化器：Adam（β1=0.9，β2=0.999，ε=1e-08）
• 學習率調度器類型：線性
• 學習率調度器熱身比例：0.1
• 訓練輪數：3

訓練硬件

• 是否使用雲服務：否
• GPU型號：1 x NVIDIA GeForce RTX 3090
• CPU型號：13th Gen Intel(R) Core(TM) i7-13700K
• 內存大小：31.78 GB

框架版本

• Python：3.9.16
• SpanMarker：1.3.1.dev
• Transformers：4.29.2
• PyTorch：2.0.1+cu118
• Datasets：2.14.3
• Tokenizers：0.13.2

🔧 技術細節

文檔未提供具體的技術實現細節，故跳過該章節。

📄 許可證

本模型使用的許可證為 cc-by-sa-4.0。