Legal Bert Ner Base Cased Ptbr

🚀 ポルトガル語の法的ドメインにおける (BERT base) NERモデル

このモデルは、法的分野のNLP研究、コンピュータ法、および法的技術アプリケーションを支援するために開発されました。ポルトガル語の法的テキストを対象に、特定のラベル付けを行うNERモデルです。

🚀 クイックスタート

ner-legal-bert-base-cased-ptbr は、ポルトガル語の法的ドメインにおけるNERモデル（トークン分類）です。このモデルは、dominguesm/legal-bert-base-cased-ptbr モデルをNER目的で微調整したものです。

このモデルは、法的分野のNLP研究、コンピュータ法、および法的技術アプリケーションを支援することを目的としています。以下のラベルを持つポルトガル語の法的テキストが使用されています。

• PESSOA
• ORGANIZACAO
• LOCAL
• TEMPO
• LEGISLACAO
• JURISPRUDENCIA

これらのラベルは、LeNER_br データセットにインスパイアされています。

✨ 主な機能

• ポルトガル語の法的テキストに対するNER（固有表現抽出）を行うことができます。
• 特定のラベル（人物、組織、場所、時間、法令、判例など）を識別します。

📦 インストール

このモデルを使用するには、transformers ライブラリが必要です。以下のコマンドでインストールできます。

pip install transformers torch

💻 使用例

基本的な使用法

from transformers import AutoModelForTokenClassification, AutoTokenizer
import torch

# パラメータ
model_name = "dominguesm/ner-legal-bert-base-cased-ptbr"
model = AutoModelForTokenClassification.from_pretrained(model_name)
tokenizer = AutoTokenizer.from_pretrained(model_name)

input_text = "Acrescento que não há de se falar em violação do artigo 114, § 3º, da Constituição Federal, posto que referido dispositivo revela-se impertinente, tratando da possibilidade de ajuizamento de dissídio coletivo pelo Ministério Público do Trabalho nos casos de greve em atividade essencial."

# トークン化
inputs = tokenizer(input_text, max_length=512, truncation=True, return_tensors="pt")
tokens = inputs.tokens()

# 予測を取得
outputs = model(**inputs).logits
predictions = torch.argmax(outputs, dim=2)

# 予測を表示
for token, prediction in zip(tokens, predictions[0].numpy()):
    print((token, model.config.id2label[prediction]))

高度な使用法

from transformers import pipeline

model_name = "dominguesm/ner-legal-bert-base-cased-ptbr"

ner = pipeline(
    "ner",
    model=model_name
) 

ner(input_text, aggregation_strategy="average")

📚 ドキュメント

学習データセット

ner-legal-bert-base-cased-ptbr のデータセットには以下が含まれています。

• 971932件の雑多な法的文書の例（学習分割）
• 53996件の雑多な法的文書の例（検証分割）
• 53997件の雑多な法的文書の例（テスト分割）

使用されたデータは、BRAZILIAN SUPREME FEDERAL TRIBUNALによって提供され、利用規約は LREC 2020 です。

このプロジェクトの結果は、いかなる意味でもBRAZILIAN SUPREME FEDERAL TRIBUNALの立場を意味するものではなく、すべてモデルの作成者の責任に帰されます。

学習手順

ハイパーパラメータ

バッチ、学習率など

• per_device_batch_size = 64
• gradient_accumulation_steps = 2
• learning_rate = 2e-5
• num_train_epochs = 3
• weight_decay = 0.01
• optimizer = torch.optim.AdamW
• epsilon = 1e-08
• lr_scheduler_type = linear

モデルの保存と最良モデルの読み込み

• save_total_limit = 3
• logging_steps = 1000
• eval_steps = logging_steps
• evaluation_strategy = 'steps'
• logging_strategy = 'steps'
• save_strategy = 'steps'
• save_steps = logging_steps
• load_best_model_at_end = True
• fp16 = True

学習結果

Num examples = 971932
Num Epochs = 3
Instantaneous batch size per device = 64
Total train batch size (w. parallel, distributed & accumulation) = 128
Gradient Accumulation steps = 2
Total optimization steps = 22779
Evaluation Infos:
  Num examples = 53996
  Batch size = 128

固有表現ごとの検証指標（テストデータセット）

• Num examples = 53997
• overall_precision: 0.9432396865925381
• overall_recall: 0.9614334116769161
• overall_f1: 0.9522496545298874
• overall_accuracy': 0.9894741602608071

🔧 技術詳細

このモデルは、BERTベースのアーキテクチャを使用しています。トークン分類タスクに特化しており、法的テキストの固有表現を識別するために微調整されています。

📄 ライセンス

このモデルは、CC BY 4.0ライセンスの下で提供されています。