# ポルトガル語BERT

BERTuguesはポルトガル語テキストで訓練されたBERTモデルで、オリジナルのBERT論文の事前訓練プロセスを厳密に遵守し、100万ステップの訓練を通じてマスク言語モデリングと次文予測タスクを完了しました。

このモデルはポルトガル語BERTベースモデル(neuralmind/bert-base-portuguese-cased)をファインチューニングしたバージョンで、具体的なタスクは明記されていません

BERTimbau Largeはブラジルポルトガル語向けに事前学習されたBERTモデルで、複数の下流NLPタスクにおいて最先端の性能を達成しています。

これはdistilbert-base-multilingual-casedの小型版で、ポルトガル語を専門に処理し、元のモデルの精度を維持しています。