Legal Bert Lgpd

🚀 ポルトガル語の法的ドメインにおけるNERモデル（LGPD準拠）

legal-bert-lgpd は、ポルトガル語の法的ドメインにおけるNERモデル（トークン分類）です。このモデルは、トークンを以下のクラスに分類します。

🚀 クイックスタート

モデル情報

モデルの評価結果

💻 使用例

基本的な使用法

import torch
from transformers import pipeline, AutoTokenizer

MODEL_NAME = "celiudos/legal-bert-lgpd"
tokenizer = AutoTokenizer.from_pretrained(
    MODEL_NAME,
    model_max_length=512,
)

pipe = pipeline(
    "ner",
    tokenizer=tokenizer,
    model=MODEL_NAME,
    stride=100,
    aggregation_strategy="first",
    device=0 if torch.cuda.is_available() else -1,
)

pipe(
    "Anotação de Responsabilidade Técnica Nº 1055330634101 de 12 de janeiro de 2013 relativa à Lei Federal Nº 531. Trata-se de representação referente a possível falsificação documentação técnica registrada pelo CREA-SP, feita pelo senhor Francis Pantele da Cozzi, CPF: 412.612.341-32, telefone (31) 951358433, email fran@bol.com, atinente à sua contratação pela senhora Marinalva Bete Raz, CPF: 049.567.041-22, telefone (61) 9412 3333, mulher branca, opinião política conservadora, religião evangélica. Marinalva Bete Raz reclama por indenização por danos morais no dia 14.05.2013 no valor de R$ 82.662,00 (Oitenta e dois mil, seiscentos e sessenta e dois reais) relacionado ao endereço IP 192.168.01 e ao endereço constante no CEP 59123-222, Rua dos Pioneiros, nº 450, Jardim Esmeralda, Campo Grande, MS."
)

出力例

[
  {
    "entity_group": "DATA",
    "score": 0.9828296,
    "word": "12 de janeiro de 2013",
    "start": 57,
    "end": 78
  },
  {
    "entity_group": "NOME",
    "score": 0.95766664,
    "word": "Francis Pantele da Cozzi",
    "start": 234,
    "end": 258
  },
  {
    "entity_group": "CPF",
    "score": 0.9954297,
    "word": "412. 612. 341 - 32",
    "start": 265,
    "end": 279
  },
  {
    "entity_group": "TELEFONE",
    "score": 0.5634508,
    "word": "31 )",
    "start": 291,
    "end": 294
  },
  {
    "entity_group": "EMAIL",
    "score": 0.9973985,
    "word": "fran @ bol. com",
    "start": 312,
    "end": 324
  },
  {
    "entity_group": "NOME",
    "score": 0.96683884,
    "word": "Marinalva Bete Raz",
    "start": 366,
    "end": 384
  },
  {
    "entity_group": "CPF",
    "score": 0.99713326,
    "word": "049. 567. 041 - 22",
    "start": 391,
    "end": 405
  },
  {
    "entity_group": "TELEFONE",
    "score": 0.90854883,
    "word": "( 61 ) 9412 3333",
    "start": 416,
    "end": 430
  },
  {
    "entity_group": "NOME",
    "score": 0.9364093,
    "word": "Marinalva Bete Raz",
    "start": 499,
    "end": 517
  },
  {
    "entity_group": "DATA",
    "score": 0.9986375,
    "word": "14",
    "start": 566,
    "end": 568
  },
  {
    "entity_group": "DATA",
    "score": 0.9968226,
    "word": "05",
    "start": 569,
    "end": 571
  },
  {
    "entity_group": "DATA",
    "score": 0.9992943,
    "word": "2013",
    "start": 572,
    "end": 576
  },
  {
    "entity_group": "DINHEIRO",
    "score": 0.99847966,
    "word": "R $ 82. 662, 00",
    "start": 589,
    "end": 601
  },
  {
    "entity_group": "CEP",
    "score": 0.9977593,
    "word": "59123 - 222",
    "start": 728,
    "end": 737
  },
  {
    "entity_group": "ENDERECO",
    "score": 0.9711078,
    "word": "Rua dos Pioneiros",
    "start": 739,
    "end": 756
  },
  {
    "entity_group": "ENDERECO",
    "score": 0.9741938,
    "word": "Jardim Esmeralda",
    "start": 766,
    "end": 782
  },
  {
    "entity_group": "ENDERECO",
    "score": 0.9352198,
    "word": "Campo Grande, MS",
    "start": 784,
    "end": 800
  }
]

高度な使用法

import gradio as gr

def ner(text):
    return {"text": text, "entities": pipe(text)}

gr.Interface(
    ner,
    gr.Textbox(placeholder="Enter sentence here..."),
    gr.HighlightedText(),
    live=True,
    examples=[
        "Anotação de Responsabilidade Técnica Nº 1055330634101 de 12 de janeiro de 2013 relativa à Lei Federal Nº 531. Trata-se de representação referente a possível falsificação documentação técnica registrada pelo CREA-SP, feita pelo senhor Francis Pantele da Cozzi, CPF: 412.612.341-32, telefone (31) 951358433, email fran@bol.com.",
    ],
).launch()

🔧 技術詳細

学習設定

  サンプル数 = 3,971
  エポック数 = 5
  デバイスごとの瞬間的なバッチサイズ = 16
  総学習バッチサイズ（並列、分散、累積を含む） = 16
  勾配累積ステップ数 = 1
  総最適化ステップ数 = 1,245
  学習可能なパラメータ数 = 333,364,241