Distilbert Base Multilingual Cased Ner Hrl

🚀 distilbert-base-multilingual-cased-ner-hrl

distilbert-base-multilingual-cased-ner-hrl 是一個用於命名實體識別的模型，它基於微調後的 Distiled BERT 基礎模型，可處理 10 種高資源語言（阿拉伯語、德語、英語、西班牙語、法語、意大利語、拉脫維亞語、荷蘭語、葡萄牙語和中文）。該模型經過訓練，能夠識別三種類型的實體：地點（LOC）、組織（ORG）和人物（PER）。

🚀 快速開始

使用 Transformers pipeline 進行命名實體識別（NER）

你可以使用以下代碼示例來使用這個模型：

from transformers import AutoTokenizer, AutoModelForTokenClassification
from transformers import pipeline
tokenizer = AutoTokenizer.from_pretrained("Davlan/distilbert-base-multilingual-cased-ner-hrl")
model = AutoModelForTokenClassification.from_pretrained("Davlan/distilbert-base-multilingual-cased-ner-hrl")
nlp = pipeline("ner", model=model, tokenizer=tokenizer)
example = "Nader Jokhadar had given Syria the lead with a well-struck header in the seventh minute."
ner_results = nlp(example)
print(ner_results)

✨ 主要特性

• 多語言支持：支持 10 種高資源語言，包括阿拉伯語、德語、英語、西班牙語、法語、意大利語、拉脫維亞語、荷蘭語、葡萄牙語和中文。
• 實體識別類型：能夠識別三種類型的實體，分別是地點（LOC）、組織（ORG）和人物（PER）。

📚 詳細文檔

模型描述

distilbert-base-multilingual-cased-ner-hrl 是一個基於微調後的 Distiled BERT 基礎模型的命名實體識別模型。它在 10 種高資源語言的聚合數據集上進行了微調，專門用於識別特定類型的實體。

預期用途和限制

使用方法

你可以使用 Transformers pipeline 來使用這個模型進行命名實體識別。具體代碼示例見“快速開始”部分。

限制和偏差

該模型受限於其訓練數據集，這些數據集是特定時間段內帶有實體標註的新聞文章。因此，它可能無法很好地泛化到不同領域的所有用例。

訓練數據

10 種語言的訓練數據來源如下：

訓練數據集區分了實體的起始和延續，這樣如果有連續的相同類型實體，模型可以輸出第二個實體的起始位置。在數據集中，每個標記將被分類為以下類別之一：

訓練過程

該模型在 NVIDIA V100 GPU 上進行訓練，使用了 HuggingFace 代碼中推薦的超參數。

📄 許可證

本模型使用的許可證為 afl - 3.0。