Ner News Portuguese

🚀 RiskData巴西葡萄牙語命名實體識別（NER）

本項目是一個用於巴西葡萄牙語的命名實體識別模型，基於預訓練模型微調而來，能夠準確識別新聞文本中的命名實體，在欺詐和腐敗相關新聞的實體識別任務中表現出色。

🚀 快速開始

模型描述

這是基於 Neuralmind BERTimbau 針對葡萄牙語進行微調的版本。

使用方法

from transformers import BertForTokenClassification, DistilBertTokenizerFast, pipeline
model = BertForTokenClassification.from_pretrained('monilouise/ner_pt_br')
tokenizer = DistilBertTokenizerFast.from_pretrained('neuralmind/bert-base-portuguese-cased'
                                                    , model_max_length=512
                                                    , do_lower_case=False
                                                    )
nlp = pipeline('ner', model=model, tokenizer=tokenizer, grouped_entities=True)
result = nlp("O Tribunal de Contas da União é localizado em Brasília e foi fundado por Rui Barbosa.")

侷限性和偏差

• 微調後的模型是在從谷歌新聞抓取的約180篇新聞文章的語料庫上訓練的。原項目的目的是識別與欺詐和腐敗相關的新聞中的命名實體，並將這些實體分為四類：人物（PERSON）、組織（ORGANIZATION）、公共機構（PUBLIC INSITUITION）和地點（LOCAL） 。

📊 評估結果

• 準確率（accuracy）：0.98
• 精確率（precision）：0.86
• 召回率（recall）：0.91
• F1值（f1）：0.88

分數是使用以下代碼計算的：

    def align_predictions(predictions: np.ndarray, label_ids: np.ndarray) -> Tuple[List[int], List[int]]:
        preds = np.argmax(predictions, axis=2)
        batch_size, seq_len = preds.shape
        out_label_list = [[] for _ in range(batch_size)]
        preds_list = [[] for _ in range(batch_size)]

        for i in range(batch_size):
            for j in range(seq_len):
                if label_ids[i, j] != nn.CrossEntropyLoss().ignore_index:
                    out_label_list[i].append(id2tag[label_ids[i][j]])
                    preds_list[i].append(id2tag[preds[i][j]])

        return preds_list, out_label_list

    def compute_metrics(p: EvalPrediction) -> Dict:
        preds_list, out_label_list = align_predictions(p.predictions, p.label_ids)
        return {
            "accuracy_score": accuracy_score(out_label_list, preds_list),
            "precision": precision_score(out_label_list, preds_list),
            "recall": recall_score(out_label_list, preds_list),
            "f1": f1_score(out_label_list, preds_list),
        }

BibTeX引用和引用信息

有關BERTimbau語言模型的更多信息：

@inproceedings{souza2020bertimbau,
    author    = {Souza, F{\'a}bio and Nogueira, Rodrigo and Lotufo, Roberto},
    title     = {{BERT}imbau: pretrained {BERT} models for {B}razilian {P}ortuguese},
    booktitle = {9th Brazilian Conference on Intelligent Systems, {BRACIS}, Rio Grande do Sul, Brazil, October 20-23 (to appear)},
    year      = {2020}
}

@article{souza2019portuguese,
    title={Portuguese Named Entity Recognition using BERT-CRF},
    author={Souza, F{\'a}bio and Nogueira, Rodrigo and Lotufo, Roberto},
    journal={arXiv preprint arXiv:1909.10649},
    url={http://arxiv.org/abs/1909.10649},
    year={2019}
}