NER Darija MAR FSBM

🚀 摩洛哥方言（達裡賈語）命名實體識別模型

本模型是一個用於摩洛哥阿拉伯語（達裡賈語）文本的命名實體識別模型，能夠識別如人名、地點、組織和其他雜項實體等信息，可用於社交媒體或新聞文章的信息提取等任務。

🚀 快速開始

要使用該模型，你需要使用Hugging Face Transformers庫加載它。以下是一個示例：

from transformers import pipeline

# 加載模型
nlp = pipeline("ner", model="mohannad-tazi/ner-darija-darner")

# 使用模型
text = "محمد كان في الرباط."
result = nlp(text)
print(result)

✨ 主要特性

• 本模型是基於BERT架構的命名實體識別（NER）模型，在DarNERcorp數據集上進行了微調。
• 能夠識別摩洛哥阿拉伯語（達裡賈語）文本中的人名、地點、組織和其他雜項實體。
• 適用於社交媒體分析、新聞摘要和信息提取等任務。

📦 安裝指南

文檔未提及具體安裝命令，故跳過此章節。

💻 使用示例

基礎用法

from transformers import pipeline

# 加載模型
nlp = pipeline("ner", model="mohannad-tazi/ner-darija-darner")

# 使用模型
text = "محمد كان في الرباط."
result = nlp(text)
print(result)

📚 詳細文檔

模型描述

該模型是一個在 DarNERcorp 數據集上微調的 命名實體識別（NER） 模型。它旨在識別摩洛哥阿拉伯語（達裡賈語）文本中的實體，如 人名、地點、組織 和 其他雜項實體。該模型基於 BERT架構，可用於從社交媒體或新聞文章中提取信息等任務。

模型架構

預期用途

此模型專為摩洛哥阿拉伯語的命名實體識別任務而設計。它可以識別和分類以下實體：

• PER：人名（例如，"محمد"，"فاطمة"）
• LOC：地點（例如，"الرباط"，"طنجة"）
• ORG：組織（例如，"البنك المغربي"，"جامعة الحسن الثاني"）
• MISC：其他雜項實體

使用場景

• 社交媒體分析：從摩洛哥阿拉伯語的帖子和推文中提取實體。
• 新聞摘要：識別新聞文章中的重要實體。
• 信息提取：從非正式或正式文本中提取命名實體。

評估結果

該模型在評估數據集上取得了以下結果：

• 精確率：74.04%
• 召回率：85.16%
• F1分數：78.61%

數據集

該模型在DarNERcorp數據集上進行訓練，這是一個專門為摩洛哥阿拉伯語方言的命名實體識別而設計的語料庫。該數據集包含標註了命名實體標籤（如PER、LOC、ORG和MISC）的句子。

預處理步驟

• 使用BERT分詞器進行分詞。
• 將標籤與分詞後的輸入對齊（考慮詞塊標記）。
• 對句子進行填充和截斷，以達到固定長度，確保一致性。

侷限性

• 該模型在特定語料庫上進行訓練，可能無法很好地泛化到所有摩洛哥阿拉伯語文本。
• 性能可能會因文本質量和數據集中標籤的一致性而有所不同。