Geolm Base Toponym Recognition

🚀 GeoLMモデルによる地名認識

このモデルは、文章から地名（トポニム）を検出する言語モデルです。GeoLMモデルは、世界中のOpenStreetMap (OSM)、WikiData、Wikipediaのデータで事前学習され、その後、GeoWebNewsデータセットを使って地名認識タスクに対して微調整されます。

🚀 クイックスタート

このモデルは、地名検出タスク用に微調整されたGeoLMモデルです。入力は文章で、出力は検出された地名です。

モデルを使用するには、以下のコードを参照してください。

オプション1: BERTモデルに重みをロードする（右側のパネルのデモと同じ手順）

import torch
from transformers import AutoModelForTokenClassification, AutoTokenizer

# Hugging Faceモデルハブからのモデル名
model_name = "zekun-li/geolm-base-toponym-recognition"

# トークナイザーとモデルをロードする
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForTokenClassification.from_pretrained(model_name)

# 入力文章の例
input_sentence = "Minneapolis, officially the City of Minneapolis, is a city in the state of Minnesota and the county seat of Hennepin County."

# 入力文章をトークナイズする
tokens = tokenizer.encode(input_sentence, return_tensors="pt")

# トークンをモデルに通す
outputs = model(tokens) 

# 各トークンの予測ラベルを取得する
predicted_labels = torch.argmax(outputs.logits, dim=2)

predicted_labels = predicted_labels.detach().cpu().numpy()

# 予測ラベルをデコードする
predicted_labels = [model.config.id2label[label] for label in predicted_labels[0]]

# 予測ラベルを印刷する
print(predicted_labels)
# ['O', 'B-Topo', 'O', 'O', 'O', 'O', 'O', 'B-Topo', 'O', 'O', 'O', 'O', 'O', 'O',
# 'O', 'O', 'B-Topo', 'O', 'O', 'O', 'O', 'O', 'B-Topo', 'I-Topo', 'I-Topo', 'O', 'O', 'O']

オプション2: GeoLMモデルに重みをロードする

近日公開予定

✨ 主な機能

• 文章から地名（トポニム）を検出することができます。
• GeoLMモデルは、世界中のOpenStreetMap (OSM)、WikiData、Wikipediaのデータで事前学習され、GeoWebNewsデータセットを使って微調整されています。

📦 インストール

コードの実行に必要なライブラリをインストールするには、以下のコマンドを実行してください。

pip install torch transformers

📚 ドキュメント

モデルの詳細

モデルの説明

GeoLMモデルは、世界中のOpenStreetMap (OSM)、WikiData、Wikipediaのデータで事前学習され、その後、GeoWebNewsデータセットを使って地名認識タスクに対して微調整されます。

学習の詳細

学習データ

GeoWebNews （Gritta et al. の提供） ダウンロードリンク: https://github.com/milangritta/Pragmatic-Guide-to-Geoparsing-Evaluation/blob/master/data/GWN.xml

学習手順

速度、サイズ、時間

詳細情報は後日提供予定です。

評価

テストデータ、評価指標、結果

テストデータ

詳細情報は後日提供予定です。

評価指標

詳細情報は後日提供予定です。

結果

詳細情報は後日提供予定です。

技術仕様

モデルアーキテクチャと目的

詳細情報は後日提供予定です。

コンピューティングインフラストラクチャ

詳細情報は後日提供予定です。

🔧 技術詳細

言語モデルのバイアスと公平性の問題については、多くの研究が行われています（例えば、Sheng et al. (2021) および Bender et al. (2021) を参照）。このモデルによって生成される予測には、保護されたクラス、アイデンティティの特徴、および敏感な社会的および職業的グループにまたがる不快で有害なステレオタイプが含まれる可能性があります。

📄 ライセンス

このモデルは cc-by-nc-2.0 ライセンスの下で提供されています。

引用

BibTeX

詳細情報は後日提供予定です。

APA

詳細情報は後日提供予定です。