Legal Bert Ner Base Cased Ptbr

🚀 (BERT base) 葡萄牙語法律領域命名實體識別模型

本項目的 ner-legal-bert-base-cased-ptbr 是一個用於葡萄牙語法律領域的命名實體識別（NER）模型（即標記分類模型）。它基於 dominguesm/legal-bert-base-cased-ptbr 模型，通過命名實體識別目標進行微調得到。該模型旨在助力法律領域的自然語言處理研究、計算機法學以及法律技術應用。

模型信息

標籤說明

模型使用了以下標籤，這些標籤的靈感來源於 LeNER_br 數據集：

• PESSOA（人物）
• ORGANIZACAO（組織）
• LOCAL（地點）
• TEMPO（時間）
• LEGISLACAO（立法）
• JURISPRUDENCIA（判例法）

🚀 快速開始

推理使用

基礎用法

from transformers import AutoModelForTokenClassification, AutoTokenizer
import torch

# 參數設置
model_name = "dominguesm/ner-legal-bert-base-cased-ptbr"
model = AutoModelForTokenClassification.from_pretrained(model_name)
tokenizer = AutoTokenizer.from_pretrained(model_name)

input_text = "Acrescento que não há de se falar em violação do artigo 114, § 3º, da Constituição Federal, posto que referido dispositivo revela-se impertinente, tratando da possibilidade de ajuizamento de dissídio coletivo pelo Ministério Público do Trabalho nos casos de greve em atividade essencial."

# 分詞
inputs = tokenizer(input_text, max_length=512, truncation=True, return_tensors="pt")
tokens = inputs.tokens()

# 獲取預測結果
outputs = model(**inputs).logits
predictions = torch.argmax(outputs, dim=2)

# 打印預測結果
for token, prediction in zip(tokens, predictions[0].numpy()):
    print((token, model.config.id2label[prediction]))

高級用法

你也可以使用 pipeline 進行推理，但它在處理輸入序列的最大長度時似乎存在一些問題。

from transformers import pipeline

model_name = "dominguesm/ner-legal-bert-base-cased-ptbr"

ner = pipeline(
    "ner",
    model=model_name
) 

ner(input_text, aggregation_strategy="average")

📦 安裝指南

文檔未提及安裝步驟，可參考 transformers 庫的官方安裝文檔進行安裝。

🔧 技術細節

超參數設置

批次大小、學習率等

• per_device_batch_size = 64
• gradient_accumulation_steps = 2
• learning_rate = 2e-5
• num_train_epochs = 3
• weight_decay = 0.01
• optimizer = torch.optim.AdamW
• epsilon = 1e-08
• lr_scheduler_type = linear

模型保存與加載

• save_total_limit = 3
• logging_steps = 1000
• eval_steps = logging_steps
• evaluation_strategy = 'steps'
• logging_strategy = 'steps'
• save_strategy = 'steps'
• save_steps = logging_steps
• load_best_model_at_end = True
• fp16 = True

訓練結果

Num examples = 971932
Num Epochs = 3
Instantaneous batch size per device = 64
Total train batch size (w. parallel, distributed & accumulation) = 128
Gradient Accumulation steps = 2
Total optimization steps = 22779
Evaluation Infos:
  Num examples = 53996
  Batch size = 128

驗證指標（測試集）

• 樣本數量 = 53997
• overall_precision（整體精確率）: 0.9432396865925381
• overall_recall（整體召回率）: 0.9614334116769161
• overall_f1（整體 F1 值）: 0.9522496545298874
• overall_accuracy（整體準確率）: 0.9894741602608071

📄 許可證

本模型使用 cc-by-4.0 許可證。

注意事項

本 README 文檔參考了 Pierre Guillou 編寫的 README，部分內容直接引用。