Bert Large Cased Pt Lenerbr

🚀 (BERT large) 葡萄牙语法律领域语言模型 (LeNER - Br)

bert-large-cased-pt-lenerbr 是一个葡萄牙语法律领域的语言模型，于2021年12月20日在Google Colab上，基于 BERTimbau large 模型，在 LeNER - Br语言建模 数据集上使用掩码目标进行微调得到。

你也可以查看该模型的 基础版本。

🚀 快速开始

模型信息

推理使用

# 安装pytorch: 查看 https://pytorch.org/
# !pip install transformers 
from transformers import AutoTokenizer, AutoModelForMaskedLM

tokenizer = AutoTokenizer.from_pretrained("pierreguillou/bert-large-cased-pt-lenerbr")
model = AutoModelForMaskedLM.from_pretrained("pierreguillou/bert-large-cased-pt-lenerbr")

✨ 主要特性

• 该语言模型可用于获取葡萄牙语司法领域的命名实体识别（NER）模型。
• 可在本页面的小部件中测试该模型。

📚 详细文档

小部件与应用

你可以在本页面的小部件中测试此模型。

博客文章

此语言模型用于获取葡萄牙语司法领域的NER模型。你可以在 pierreguillou/ner-bert-large-cased-pt-lenerbr 查看微调后的NER模型。

所有信息和链接都在这篇博客文章中：NLP | Modelos e Web App para Reconhecimento de Entidade Nomeada (NER) no domínio jurídico brasileiro (2021年12月29日)

🔧 技术细节

训练过程

微调的笔记本（Finetuning_language_model_BERtimbau_LeNER_Br.ipynb）托管在GitHub上。

训练结果

Num examples = 3227
Num Epochs = 5
Instantaneous batch size per device = 2
Total train batch size (w. parallel, distributed & accumulation) = 8
Gradient Accumulation steps = 4
Total optimization steps = 2015

Step	Training Loss	Validation Loss
100   1.616700      1.366015
200   1.452000      1.312473
300   1.431100      1.253055
400   1.407500      1.264705
500   1.301900      1.243277
600   1.317800      1.233684
700   1.319100      1.211826
800   1.303800      1.190818
900   1.262800      1.171898
1000  1.235900      1.146275
1100  1.221900      1.149027
1200  1.226200      1.127950
1300  1.201700      1.172729
1400  1.198200      1.145363