Marefa Ner

🚀 泰比安（Tebyan）

基於全新數據集構建的大型阿拉伯語命名實體識別（NER）模型，可提取多達9種不同類型的實體

模型信息

模型展示

版本：1.3

最後更新：2021年12月3日

✨ 主要特性

Marefa-NER 是一個大型阿拉伯語命名實體識別（NER）模型，它基於全新的數據集構建，旨在提取多達9種不同類型的實體：

人物、地點、組織、國籍、職業、產品、事件、時間、藝術作品

這是一個全新的文本部分分類知識模型，特別是在模型訓練所使用的數據方面。該模型還旨在對多達9種不同類型的文本部分進行分類：

人物 - 地點 - 組織 - 國籍 - 職業 - 產品 - 事件 - 時間 - 藝術作品

🚀 快速開始

📦 安裝指南

安裝以下Python包：

$ pip3 install transformers==4.8.0 nltk==3.5 protobuf==3.15.3 torch==1.9.0 

⚠️ 重要提示

如果你使用的是 Google Colab，請在安裝包後重啟運行時。

💻 使用示例

基礎用法

from transformers import AutoTokenizer, AutoModelForTokenClassification
import torch

import numpy as np
import nltk
nltk.download('punkt')
from nltk.tokenize import word_tokenize

custom_labels = ["O", "B-job", "I-job", "B-nationality", "B-person", "I-person", "B-location","B-time", "I-time", "B-event", "I-event", "B-organization", "I-organization", "I-location", "I-nationality", "B-product", "I-product", "B-artwork", "I-artwork"]

def _extract_ner(text: str, model: AutoModelForTokenClassification,
                 tokenizer: AutoTokenizer, start_token: str="▁"):
    tokenized_sentence = tokenizer([text], padding=True, truncation=True, return_tensors="pt")
    tokenized_sentences = tokenized_sentence['input_ids'].numpy()

    with torch.no_grad():
        output = model(**tokenized_sentence)

    last_hidden_states = output[0].numpy()
    label_indices = np.argmax(last_hidden_states[0], axis=1)
    tokens = tokenizer.convert_ids_to_tokens(tokenized_sentences[0])
    special_tags = set(tokenizer.special_tokens_map.values())

    grouped_tokens = []
    for token, label_idx in zip(tokens, label_indices):
        if token not in special_tags:
            if not token.startswith(start_token) and len(token.replace(start_token,"").strip()) > 0:
                grouped_tokens[-1]["token"] += token
            else:
                grouped_tokens.append({"token": token, "label": custom_labels[label_idx]})

    # extract entities
    ents = []
    prev_label = "O"
    for token in grouped_tokens:
        label = token["label"].replace("I-","").replace("B-","")
        if token["label"] != "O":
            
            if label != prev_label:
                ents.append({"token": [token["token"]], "label": label})
            else:
                ents[-1]["token"].append(token["token"])
            
        prev_label = label
    
    # group tokens
    ents = [{"token": "".join(rec["token"]).replace(start_token," ").strip(), "label": rec["label"]}  for rec in ents ]

    return ents

model_cp = "marefa-nlp/marefa-ner"

tokenizer = AutoTokenizer.from_pretrained(model_cp)
model = AutoModelForTokenClassification.from_pretrained(model_cp, num_labels=len(custom_labels))

samples = [
    "تلقى تعليمه في الكتاب ثم انضم الى الأزهر عام 1873م. تعلم على يد السيد جمال الدين الأفغاني والشيخ محمد عبده",
    "بعد عودته إلى القاهرة، التحق نجيب الريحاني فرقة جورج أبيض، الذي كان قد ضمَّ - قُبيل ذلك - فرقته إلى فرقة سلامة حجازي . و منها ذاع صيته",
    "في استاد القاهرة، قام حفل افتتاح بطولة كأس الأمم الأفريقية بحضور رئيس الجمهورية و رئيس الاتحاد الدولي لكرة القدم",
    "من فضلك أرسل هذا البريد الى صديقي جلال الدين في تمام الساعة الخامسة صباحا في يوم الثلاثاء القادم",
    "امبارح اتفرجت على مباراة مانشستر يونايتد مع ريال مدريد في غياب الدون كرستيانو رونالدو",
    "لا تنسى تصحيني الساعة سبعة, و ضيف في الجدول اني احضر مباراة نادي النصر غدا",
]

# [optional]
samples = [ " ".join(word_tokenize(sample.strip())) for sample in samples if sample.strip() != "" ]

for sample in samples:
    ents = _extract_ner(text=sample, model=model, tokenizer=tokenizer, start_token="▁")

    print(sample)
    for ent in ents:
        print("\t",ent["token"],"==>",ent["label"])
    print("========\n")

輸出示例

تلقى تعليمه في الكتاب ثم انضم الى الأزهر عام 1873م . تعلم على يد السيد جمال الدين الأفغاني والشيخ محمد عبده
	 الأزهر ==> organization
	 عام 1873م ==> time
	 السيد جمال الدين الأفغاني ==> person
	 محمد عبده ==> person
========

بعد عودته إلى القاهرة، التحق نجيب الريحاني فرقة جورج أبيض، الذي كان قد ضمَّ - قُبيل ذلك - فرقته إلى فرقة سلامة حجازي . و منها ذاع صيته
	 القاهرة، ==> location
	 نجيب الريحاني ==> person
	 فرقة جورج أبيض، ==> organization
	 فرقة سلامة حجازي ==> organization
========

في استاد القاهرة، قام حفل افتتاح بطولة كأس الأمم الأفريقية بحضور رئيس الجمهورية و رئيس الاتحاد الدولي لكرة القدم
	 استاد القاهرة، ==> location
	 بطولة كأس الأمم الأفريقية ==> event
	 رئيس الجمهورية ==> job
	 رئيس ==> job
	 الاتحاد الدولي لكرة القدم ==> organization
========

من فضلك أرسل هذا البريد الى صديقي جلال الدين في تمام الساعة الخامسة صباحا في يوم الثلاثاء القادم
	 جلال الدين ==> person
	 الساعة الخامسة صباحا ==> time
	 يوم الثلاثاء القادم ==> time
========

امبارح اتفرجت على مباراة مانشستر يونايتد مع ريال مدريد في غياب الدون كرستيانو رونالدو
	 مانشستر يونايتد ==> organization
	 ريال مدريد ==> organization
	 كرستيانو رونالدو ==> person
========

لا تنسى تصحيني الساعة سبعة , و ضيف في الجدول اني احضر مباراة نادي النصر غدا
	 الساعة سبعة ==> time
	 نادي النصر ==> organization
	 غدا ==> time
========

模型微調

你可以查看這個 筆記本 來對NER模型進行微調。

模型評估

我們在包含1959個句子的測試集上對模型進行了測試，結果如下表所示：

📄 致謝

該模型訓練所使用的數據由一群志願者準備，他們花費了大量時間對數據進行挖掘和審核。

• 賽義德·阿卜杜勒·哈菲茲 - 監督
• 娜爾敏·穆罕默德·阿提亞
• 薩拉赫·基拉拉
• 艾哈邁德·阿里·阿卜杜勒拉赫
• 奧馬爾·本·阿卜杜勒·阿齊茲·蘇萊曼
• 穆罕默德·易卜拉欣·賈邁勒
• 阿卜杜勒拉赫曼·薩拉馬·哈利夫
• 易卜拉欣·卡邁勒·穆罕默德·蘇萊曼
• 哈桑·穆斯塔法·哈桑
• 艾哈邁德·法赫裡·賽義德
• 奧斯曼·曼杜
• 阿卜杜勒·謝里夫
• 阿米拉·穆罕默德·馬哈茂德
• 哈桑·賽義德·哈桑
• 阿卜杜勒·阿齊茲·阿里·巴格達迪
• 瓦西克·阿卜杜勒·馬利克·舒伊塔爾
• 阿姆魯·拉馬丹·阿克拉·哈夫納維
• 哈桑·丁·艾哈邁德·賽義德
• 奧斯馬·艾哈邁德·穆罕默德·穆罕默德
• 哈蒂姆·穆罕默德·穆夫提
• 阿卜杜拉·德爾迪爾
• 阿德哈姆·巴格達迪
• 艾哈邁德·薩布里
• 阿卜杜勒·瓦哈卜·穆罕默德·穆罕默德
• 艾哈邁德·穆罕默德·奧茲