Bert Large Cased Pt Lenerbr

🚀 (BERT large) ポルトガル語の法律分野の言語モデル (LeNER - Br)

bert-large-cased-pt-lenerbr は、2021年12月20日にGoogle Colab上で、BERTimbau large モデルをベースに、LeNER - Br言語モデリング データセットを用いて、マスク目標を使って微調整された、ポルトガル語の法律分野の言語モデルです。

このモデルの 基礎バージョン も確認できます。

🚀 クイックスタート

モデル情報

推論の使用

# インストールpytorch: 参照 https://pytorch.org/
# !pip install transformers 
from transformers import AutoTokenizer, AutoModelForMaskedLM

tokenizer = AutoTokenizer.from_pretrained("pierreguillou/bert-large-cased-pt-lenerbr")
model = AutoModelForMaskedLM.from_pretrained("pierreguillou/bert-large-cased-pt-lenerbr")

✨ 主な機能

• この言語モデルは、ポルトガル語の司法分野の固有表現抽出（NER）モデルを取得するために使用できます。
• このモデルは、このページのウィジェットでテストできます。

📚 ドキュメント

ウィジェットとアプリケーション

このモデルは、このページのウィジェットでテストできます。

ブログ記事

この言語モデルは、ポルトガル語の司法分野のNERモデルを取得するために使用されます。微調整されたNERモデルは、pierreguillou/ner-bert-large-cased-pt-lenerbr で確認できます。

すべての情報とリンクは、このブログ記事にあります：NLP | Modelos e Web App para Reconhecimento de Entidade Nomeada (NER) no domínio jurídico brasileiro (2021年12月29日)

🔧 技術詳細

訓練プロセス

微調整のノートブック（Finetuning_language_model_BERtimbau_LeNER_Br.ipynb）はGitHub上にホストされています。

訓練結果

Num examples = 3227
Num Epochs = 5
Instantaneous batch size per device = 2
Total train batch size (w. parallel, distributed & accumulation) = 8
Gradient Accumulation steps = 4
Total optimization steps = 2015

Step	Training Loss	Validation Loss
100   1.616700      1.366015
200   1.452000      1.312473
300   1.431100      1.253055
400   1.407500      1.264705
500   1.301900      1.243277
600   1.317800      1.233684
700   1.319100      1.211826
800   1.303800      1.190818
900   1.262800      1.171898
1000  1.235900      1.146275
1100  1.221900      1.149027
1200  1.226200      1.127950
1300  1.201700      1.172729
1400  1.198200      1.145363