Legal Bert Ner Base Cased Ptbr

🚀 (BERT base) 葡萄牙语法律领域命名实体识别模型

本项目的 ner-legal-bert-base-cased-ptbr 是一个用于葡萄牙语法律领域的命名实体识别（NER）模型（即标记分类模型）。它基于 dominguesm/legal-bert-base-cased-ptbr 模型，通过命名实体识别目标进行微调得到。该模型旨在助力法律领域的自然语言处理研究、计算机法学以及法律技术应用。

模型信息

标签说明

模型使用了以下标签，这些标签的灵感来源于 LeNER_br 数据集：

• PESSOA（人物）
• ORGANIZACAO（组织）
• LOCAL（地点）
• TEMPO（时间）
• LEGISLACAO（立法）
• JURISPRUDENCIA（判例法）

🚀 快速开始

推理使用

基础用法

from transformers import AutoModelForTokenClassification, AutoTokenizer
import torch

# 参数设置
model_name = "dominguesm/ner-legal-bert-base-cased-ptbr"
model = AutoModelForTokenClassification.from_pretrained(model_name)
tokenizer = AutoTokenizer.from_pretrained(model_name)

input_text = "Acrescento que não há de se falar em violação do artigo 114, § 3º, da Constituição Federal, posto que referido dispositivo revela-se impertinente, tratando da possibilidade de ajuizamento de dissídio coletivo pelo Ministério Público do Trabalho nos casos de greve em atividade essencial."

# 分词
inputs = tokenizer(input_text, max_length=512, truncation=True, return_tensors="pt")
tokens = inputs.tokens()

# 获取预测结果
outputs = model(**inputs).logits
predictions = torch.argmax(outputs, dim=2)

# 打印预测结果
for token, prediction in zip(tokens, predictions[0].numpy()):
    print((token, model.config.id2label[prediction]))

高级用法

你也可以使用 pipeline 进行推理，但它在处理输入序列的最大长度时似乎存在一些问题。

from transformers import pipeline

model_name = "dominguesm/ner-legal-bert-base-cased-ptbr"

ner = pipeline(
    "ner",
    model=model_name
) 

ner(input_text, aggregation_strategy="average")

📦 安装指南

文档未提及安装步骤，可参考 transformers 库的官方安装文档进行安装。

🔧 技术细节

超参数设置

批次大小、学习率等

• per_device_batch_size = 64
• gradient_accumulation_steps = 2
• learning_rate = 2e-5
• num_train_epochs = 3
• weight_decay = 0.01
• optimizer = torch.optim.AdamW
• epsilon = 1e-08
• lr_scheduler_type = linear

模型保存与加载

• save_total_limit = 3
• logging_steps = 1000
• eval_steps = logging_steps
• evaluation_strategy = 'steps'
• logging_strategy = 'steps'
• save_strategy = 'steps'
• save_steps = logging_steps
• load_best_model_at_end = True
• fp16 = True

训练结果

Num examples = 971932
Num Epochs = 3
Instantaneous batch size per device = 64
Total train batch size (w. parallel, distributed & accumulation) = 128
Gradient Accumulation steps = 2
Total optimization steps = 22779
Evaluation Infos:
  Num examples = 53996
  Batch size = 128

验证指标（测试集）

• 样本数量 = 53997
• overall_precision（整体精确率）: 0.9432396865925381
• overall_recall（整体召回率）: 0.9614334116769161
• overall_f1（整体 F1 值）: 0.9522496545298874
• overall_accuracy（整体准确率）: 0.9894741602608071

📄 许可证

本模型使用 cc-by-4.0 许可证。

注意事项

本 README 文档参考了 Pierre Guillou 编写的 README，部分内容直接引用。