Reddit Ner Place Names

🚀 Reddit地名命名實體識別模型

本項目基於bert-base-uncased模型進行微調，用於命名實體識別。模型使用wnut_17數據集，並額外添加了Reddit上的498條評論進行訓練。該模型專門用於從社交媒體文本中提取地名，其他實體已被移除。

本模型的創建主要有兩個目標：

1. 提升社交媒體文本的命名實體識別效果。
2. 僅針對地名進行識別。

🚀 快速開始

模型代碼

模型代碼請參考模型GitHub倉庫。

在transformers中使用

from transformers import pipeline

generator = pipeline(
    task="ner",
    model="cjber/reddit-ner-place_names",
    tokenizer="cjber/reddit-ner-place_names",
    aggregation_strategy="first",
)

out = generator("I like reading books. I live in Reading.")

out的輸出為：

[
    {
        "entity_group": "location",
        "score": 0.94123614,
        "word": "reading",
        "start": 32,
        "end": 39,
    }
]

✨ 主要特性

轉喻處理

理論上，該模型能夠檢測並忽略轉喻。例如，在句子Manchester played Liverpool last night in Liverpool.中，“Manchester”和第一個“Liverpool”指的是足球隊，因此模型的輸出為：

[
    {
        "entity_group": "location",
        "score": 0.9975672,
        "word": "liverpool",
        "start": 42,
        "end": 51,
    }
]

📄 許可證

本項目採用MIT許可證。

📦 相關信息