Bert Base Cased Pt Lenerbr

🚀 (BERT base) ポルトガル語の法的ドメインにおける言語モデリング (LeNER - Br)

bert - base - cased - pt - lenerbr は、ポルトガル語の法的ドメインにおける言語モデルです。2021年12月20日にGoogle Colabで、モデル [BERTimbau base](https://huggingface.co/neuralmind/bert - base - portuguese - cased) をデータセット LeNER - Br language modeling 上でMASK目的を用いてファインチューニングしたものです。

また、このモデルの [large版](https://huggingface.co/pierreguillou/bert - large - cased - pt - lenerbr) も確認できます。

📚 ブログ記事

この言語モデルは、ポルトガル語の司法ドメインにおけるNERモデルを取得するために使用されます。ファインチューニングされたNERモデルは [pierreguillou/ner - bert - base - cased - pt - lenerbr](https://huggingface.co/pierreguillou/ner - bert - base - cased - pt - lenerbr) で確認できます。

すべての情報とリンクはこのブログ記事にあります: [NLP | Modelos e Web App para Reconhecimento de Entidade Nomeada (NER) no domínio jurídico brasileiro](https://medium.com/@pierre_guillou/nlp - modelos - e - web - app - para - reconhecimento - de - entidade - nomeada - ner - no - domínio - jurídico - b658db55edfb) (2021年12月29日)

🎛️ ウィジェットとアプリ

このモデルは、このページのウィジェットでテストできます。

💻 使用例

基本的な使用法

# install pytorch: check https://pytorch.org/
# !pip install transformers 
from transformers import AutoTokenizer, AutoModelForMaskedLM

tokenizer = AutoTokenizer.from_pretrained("pierreguillou/bert-base-cased-pt-lenerbr")
model = AutoModelForMaskedLM.from_pretrained("pierreguillou/bert-base-cased-pt-lenerbr")

🔧 トレーニング手順

📓 ノートブック

ファインチューニングのノートブック ([Finetuning_language_model_BERtimbau_LeNER_Br.ipynb](https://github.com/piegu/language - models/blob/master/Finetuning_language_model_BERtimbau_LeNER_Br.ipynb)) はGitHubにあります。

📈 トレーニング結果

Num examples = 3227
Num Epochs = 5
Instantaneous batch size per device = 8
Total train batch size (w. parallel, distributed & accumulation) = 8
Gradient Accumulation steps = 1
Total optimization steps = 2020

Step	Training Loss	Validation Loss
100	 1.988700	     1.616412
200	 1.724900	     1.561100
300	 1.713400	     1.499991
400	 1.687400	     1.451414
500	 1.579700	     1.433665
600	 1.556900	     1.407338
700	 1.591400	     1.421942
800	 1.546000	     1.406395
900	 1.510100	     1.352389
1000	1.507100     	1.394799
1100	1.462200     	1.36809373471

📄 モデル情報