Reddit Ner Place Names

🚀 Reddit地名命名实体识别模型

本项目基于bert-base-uncased模型进行微调，用于命名实体识别。模型使用wnut_17数据集，并额外添加了Reddit上的498条评论进行训练。该模型专门用于从社交媒体文本中提取地名，其他实体已被移除。

本模型的创建主要有两个目标：

1. 提升社交媒体文本的命名实体识别效果。
2. 仅针对地名进行识别。

🚀 快速开始

模型代码

模型代码请参考模型GitHub仓库。

在transformers中使用

from transformers import pipeline

generator = pipeline(
    task="ner",
    model="cjber/reddit-ner-place_names",
    tokenizer="cjber/reddit-ner-place_names",
    aggregation_strategy="first",
)

out = generator("I like reading books. I live in Reading.")

out的输出为：

[
    {
        "entity_group": "location",
        "score": 0.94123614,
        "word": "reading",
        "start": 32,
        "end": 39,
    }
]

✨ 主要特性

转喻处理

理论上，该模型能够检测并忽略转喻。例如，在句子Manchester played Liverpool last night in Liverpool.中，“Manchester”和第一个“Liverpool”指的是足球队，因此模型的输出为：

[
    {
        "entity_group": "location",
        "score": 0.9975672,
        "word": "liverpool",
        "start": 42,
        "end": 51,
    }
]

📄 许可证

本项目采用MIT许可证。

📦 相关信息