Reddit Ner Place Names

🚀 Redditの地名に関する固有表現認識

このモデルは、bert-base-uncased を固有表現認識（NER）のためにファインチューニングしたものです。wnut_17 データセットとRedditからの498件の追加コメントを使用して学習されています。このモデルは、ソーシャルメディアのテキストから地名のみを抽出することを目的としており、その他の固有表現は除外されています。

このモデルの作成には以下の2つの主要な目標があります。

1. ソーシャルメディア上での固有表現認識の精度向上
2. 地名のみを対象とする

🚀 クイックスタート

このモデルは、ソーシャルメディアのテキストから地名を抽出するために設計されています。以下のセクションでは、モデルのコード、メトニミーの検出、transformers ライブラリでの使用方法について説明します。

✨ 主な機能

• ソーシャルメディアのテキストから地名のみを抽出することができます。
• メトニミーを検出し、無視することができます。

📦 インストール

このモデルを使用するには、transformers ライブラリが必要です。以下のコマンドでインストールできます。

pip install transformers

💻 使用例

基本的な使用法

from transformers import pipeline

generator = pipeline(
    task="ner",
    model="cjber/reddit-ner-place_names",
    tokenizer="cjber/reddit-ner-place_names",
    aggregation_strategy="first",
)

out = generator("I like reading books. I live in Reading.")

out の出力は以下のようになります。

[
    {
        "entity_group": "location",
        "score": 0.94123614,
        "word": "reading",
        "start": 32,
        "end": 39,
    }
]

高度な使用法

# メトニミーの検出例
out = generator("Manchester played Liverpool last night in Liverpool.")

この場合の出力は以下のようになります。

[
    {
        "entity_group": "location",
        "score": 0.9975672,
        "word": "liverpool",
        "start": 42,
        "end": 51,
    }
]

📚 ドキュメント

モデルコード

モデルのコードについては、以下の モデルのGitHubリポジトリ を参照してください。

メトニミー

理論的には、このモデルはメトニミーを検出し、無視することができます。例えば、以下の文では： Manchester played Liverpool last night in Liverpool. Manchester と最初の Liverpool はサッカーチームを指しているため、モデルの出力は以下のようになります。

[
    {
        "entity_group": "location",
        "score": 0.9975672,
        "word": "liverpool",
        "start": 42,
        "end": 51,
    }
]

📄 ライセンス

このモデルはMITライセンスの下で提供されています。