Nermemberta 3entities

🚀 NERmemBERTa-3entities

NERmemBERTa-3entities 是一個基於 CamemBERTa v2 base 微調的模型，專門用於法語的命名實體識別（NER）任務。它在五個法語 NER 數據集上進行訓練，以識別三種實體類型（LOC、PER、ORG）。

🚀 快速開始

代碼示例

from transformers import pipeline

ner = pipeline('token-classification', model='CATIE-AQ/NERmemberta-base-3entities', tokenizer='CATIE-AQ/NERmemberta-base-3entities', aggregation_strategy="simple")

result = ner(
"Le dévoilement du logo officiel des JO s'est déroulé le 21 octobre 2019 au Grand Rex. Ce nouvel emblème et cette nouvelle typographie ont été conçus par le designer Sylvain Boyer avec les agences Royalties & Ecobranding. Rond, il rassemble trois symboles : une médaille d'or, la flamme olympique et Marianne, symbolisée par un visage de femme mais privée de son bonnet phrygien caractéristique. La typographie dessinée fait référence à l'Art déco, mouvement artistique des années 1920, décennie pendant laquelle ont eu lieu pour la dernière fois les Jeux olympiques à Paris en 1924. Pour la première fois, ce logo sera unique pour les Jeux olympiques et les Jeux paralympiques."
)

print(result)

通過 Space 試用

可以通過 這裡 的 Space 來測試該模型。

✨ 主要特性

• 多數據集訓練：在五個法語 NER 數據集上進行訓練，數據總量超過 420,264 行。
• 高準確率：在多個評估指標上表現出色，如 F1 分數。
• 支持三種實體類型：能夠識別 LOC（地點）、PER（人物）和 ORG（組織）三種實體類型。

📚 詳細文檔

模型描述

我們推出的 NERmemBERTa-3entities 是在 CamemBERTa v2 base 基礎上進行微調的，用於法語的命名實體識別任務。它在五個法語 NER 數據集上進行訓練，針對三種實體（LOC、PER、ORG）。所有這些數據集被合併並清理成一個單一的數據集，我們稱之為 frenchNER_3entities。這總共包含超過 420,264 行數據，其中 346,071 行用於訓練，32,951 行用於驗證，41,242 行用於測試。我們的方法在一篇博客文章中有詳細描述，可查看 英文版本 或 法文版本。

評估結果

frenchNER_3entities

由於空間限制，我們僅展示不同模型的 F1 分數。完整結果可在表格下方查看。

multiconer

由於空間限制，我們僅展示不同模型的 F1 分數。完整結果可在表格下方查看。

multinerd

由於空間限制，我們僅展示不同模型的 F1 分數。完整結果可在表格下方查看。

wikiner

由於空間限制，我們僅展示不同模型的 F1 分數。完整結果可在表格下方查看。

wikiann

由於空間限制，我們僅展示不同模型的 F1 分數。完整結果可在表格下方查看。

🔧 技術細節

環境影響

碳排放量使用 Lacoste 等人（2019） 提出的 機器學習影響計算器 進行估算。硬件、運行時間、雲服務提供商和計算區域用於估算碳影響。

• 硬件類型：A100 PCIe 40/80GB
• 使用時長：2 小時 51 分鐘
• 雲服務提供商：私有基礎設施
• 碳效率（kg/kWh）：0.047（根據 electricitymaps 估算 2024 年 11 月 20 日的數據）
• 碳排放 （功耗 x 時間 x 基於電網位置產生的碳量）：0.0335 kg 等效 CO2

📄 許可證

本項目採用 MIT 許可證。

📚 引用

NERmemBERTa-3entities

@misc {NERmemberta2024,
    author       = { {BOURDOIS, Loïck} },  
    organization = { {Centre Aquitain des Technologies de l'Information et Electroniques} },  
    title        = { NERmemberta-3entities (Revision 989f2ee) },
    year         = 2024,
    url          = { https://huggingface.co/CATIE-AQ/NERmemberta-3entities },
    doi          = { 10.57967/hf/3640 },
    publisher    = { Hugging Face }
}

NERmemBERT

@misc {NERmembert2024,
    author       = { {BOURDOIS, Loïck} },  
    organization = { {Centre Aquitain des Technologies de l'Information et Electroniques} },  
    title        = { NERmembert-base-3entities },
    year         = 2024,
    url          = { https://huggingface.co/CATIE-AQ/NERmembert-base-3entities },
    doi          = { 10.57967/hf/1752 },
    publisher    = { Hugging Face }
}

CamemBERT

@inproceedings{martin2020camembert,  
  title={CamemBERT: a Tasty French Language Model},  
  author={Martin, Louis and Muller, Benjamin and Su{\'a}rez, Pedro Javier Ortiz and Dupont, Yoann and Romary, Laurent and de la Clergerie, {\'E}ric Villemonte and Seddah, Djam{\'e} and Sagot, Beno{\^\i}t},  
  booktitle={Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics},  
  year={2020}}

CamemBERT 2.0

@misc{antoun2024camembert20smarterfrench,
      title={CamemBERT 2.0: A Smarter French Language Model Aged to Perfection}, 
      author={Wissam Antoun and Francis Kulumba and Rian Touchent and Éric de la Clergerie and Benoît Sagot and Djamé Seddah},
      year={2024},
      eprint={2411.08868},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2411.08868}, 
}

multiconer

@inproceedings{multiconer2-report,  
    title={{SemEval-2023 Task 2: Fine-grained Multilingual Named Entity Recognition (MultiCoNER 2)}},  
    author={Fetahu, Besnik and Kar, Sudipta and Chen, Zhiyu and Rokhlenko, Oleg and Malmasi, Shervin},  
    booktitle={Proceedings of the 17th International Workshop on Semantic Evaluation (SemEval-2023)},  
    year={2023},  
    publisher={Association for Computational Linguistics}}

@article{multiconer2-data,  
    title={{MultiCoNER v2: a Large Multilingual dataset for Fine-grained and Noisy Named Entity Recognition}},  
    author={Fetahu, Besnik and Chen, Zhiyu and Kar, Sudipta and Rokhlenko, Oleg and Malmasi, Shervin},  
    year={2023}}

multinerd

@inproceedings{tedeschi-navigli-2022-multinerd,  
    title = "{M}ulti{NERD}: A Multilingual, Multi-Genre and Fine-Grained Dataset for Named Entity Recognition (and Disambiguation)",  
    author = "Tedeschi, Simone and  Navigli, Roberto",  
    booktitle = "Findings of the Association for Computational Linguistics: NAACL 2022",  
    month = jul,  
    year = "2022",  
    address = "Seattle, United States",  
    publisher = "Association for Computational Linguistics",  
    url = "https://aclanthology.org/2022.findings-naacl.60",  
    doi = "10.18653/v1/2022.findings-naacl.60",  
    pages = "801--812"}

pii-masking-200k

@misc {ai4privacy_2023,  
    author = { {ai4Privacy} },  
    title = { pii-masking-200k (Revision 1d4c0a1) },  
    year = 2023,  
    url = { https://huggingface.co/datasets/ai4privacy/pii-masking-200k },  
    doi = { 10.57967/hf/1532 },  
    publisher = { Hugging Face }}

wikiann

@inproceedings{rahimi-etal-2019-massively,  
    title = "Massively Multilingual Transfer for {NER}",  
    author = "Rahimi, Afshin and Li, Yuan and Cohn, Trevor",  
    booktitle = "Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics",  
    month = jul,  
    year = "2019",  
    address = "Florence, Italy",  
    publisher = "Association for Computational Linguistics",  
    url = "https://www.aclweb.org/anthology/P19-1015",  
    pages = "151--164"}

wikiner

@article{NOTHMAN2013151,  
    title = {Learning multilingual named entity recognition from Wikipedia},  
    journal = {Artificial Intelligence},  
    volume = {194},  
    pages = {151-175},  
    year = {2013},  
    note = {Artificial Intelligence, Wikipedia and Semi-Structured Resources},  
    issn = {0004-3702},  
    doi = {https://doi.org/10.1016/j.artint.2012.03.006},  
    url = {https://www.sciencedirect.com/science/article/pii/S0004370212000276},  
    author = {Joel Nothman and Nicky Ringland and Will Radford and Tara Murphy and James R. Curran}}

frenchNER_3entities

@misc {frenchNER2024,  
    author       = { {BOURDOIS, Loïck} },  
    organization  = { {Centre Aquitain des Technologies de l'Information et Electroniques} },  
    title        = { frenchNER_3entities },  
    year         = 2024,  
    url          = { https://huggingface.co/CATIE-AQ/frenchNER_3entities },  
    doi          = { 10.57967/hf/1751 },  
    publisher    = { Hugging Face }  
}