Geolm Base Toponym Recognition

🚀 地理语言模型（GeoLM）用于地名识别

本模型是一个语言模型，可从句子中检测地名（即地点名称）。它先在全球范围的OpenStreetMap（OSM）、WikiData和维基百科数据上进行预训练，然后在GeoWebNews数据集上针对地名识别任务进行微调。

🚀 快速开始

本模型是为地名检测任务微调后的GeoLM模型。输入为句子，输出为检测到的地名。

要使用此模型，请参考以下代码：

基础用法

import torch
from transformers import AutoModelForTokenClassification, AutoTokenizer

# Model name from Hugging Face model hub
model_name = "zekun-li/geolm-base-toponym-recognition"

# Load tokenizer and model
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForTokenClassification.from_pretrained(model_name)

# Example input sentence
input_sentence = "Minneapolis, officially the City of Minneapolis, is a city in the state of Minnesota and the county seat of Hennepin County."

# Tokenize input sentence
tokens = tokenizer.encode(input_sentence, return_tensors="pt")

# Pass tokens through the model
outputs = model(tokens) 

# Retrieve predicted labels for each token
predicted_labels = torch.argmax(outputs.logits, dim=2)

predicted_labels = predicted_labels.detach().cpu().numpy()

# Decode predicted labels
predicted_labels = [model.config.id2label[label] for label in predicted_labels[0]]

# Print predicted labels
print(predicted_labels)
# ['O', 'B-Topo', 'O', 'O', 'O', 'O', 'O', 'B-Topo', 'O', 'O', 'O', 'O', 'O', 'O',
# 'O', 'O', 'B-Topo', 'O', 'O', 'O', 'O', 'O', 'B-Topo', 'I-Topo', 'I-Topo', 'O', 'O', 'O']

高级用法

• 选项2：将权重加载到GeoLM模型 即将推出

✨ 主要特性

• 可从句子中精准检测地名。
• 基于全球范围的OpenStreetMap（OSM）、WikiData和维基百科数据进行预训练，再在GeoWebNews数据集上微调，具有良好的泛化能力。

📦 安装指南

暂未提供相关安装步骤。

📚 详细文档

模型详情

模型描述

该模型先在全球范围的OpenStreetMap（OSM）、WikiData和维基百科数据上进行预训练，然后在GeoWebNews数据集上针对地名识别任务进行微调。

训练详情

训练数据

GeoWebNews（感谢Gritta等人） 下载链接：https://github.com/milangritta/Pragmatic-Guide-to-Geoparsing-Evaluation/blob/master/data/GWN.xml

训练过程

速度、大小、时间

更多信息待补充。

评估

测试数据、指标和结果

测试数据

更多信息待补充。

指标

更多信息待补充。

结果

更多信息待补充。

技术规格（可选）

模型架构和目标

更多信息待补充。

计算基础设施

更多信息待补充。

偏差、风险和局限性

大量研究已经探讨了语言模型的偏差和公平性问题（例如，参见Sheng等人（2021）和Bender等人（2021））。该模型生成的预测可能包含针对受保护类别、身份特征以及敏感、社会和职业群体的令人不安和有害的刻板印象。

引用

BibTeX

更多信息待补充。

APA

更多信息待补充。

模型卡片作者（可选）

暂未提供相关信息。

⚠️ 重要提示

该模型生成的预测可能包含针对受保护类别、身份特征以及敏感、社会和职业群体的令人不安和有害的刻板印象。

💡 使用建议

持续关注模型后续更新，以获取更多功能和优化。