Bert Base Dutch Cased

🚀 BERTje: オランダ語のBERTモデル

BERTjeは、グロニンゲン大学で開発されたオランダ語の事前学習済みBERTモデルです。このモデルは、オランダ語の自然言語処理タスクにおいて高い性能を発揮します。

🚀 クイックスタート

BERTjeは、グロニンゲン大学で開発されたオランダ語の事前学習済みBERTモデルです。

詳細については、arXivの論文、Githubのコード、およびSemantic Scholarの関連研究を参照してください。

論文とGithubページでは、こちらで利用可能なファインチューニング済みモデルに言及しています。

💻 使用例

基本的な使用法

from transformers import AutoTokenizer, AutoModel, TFAutoModel

tokenizer = AutoTokenizer.from_pretrained("GroNLP/bert-base-dutch-cased")
model = AutoModel.from_pretrained("GroNLP/bert-base-dutch-cased")  # PyTorch
model = TFAutoModel.from_pretrained("GroNLP/bert-base-dutch-cased")  # Tensorflow

⚠️ 重要提示

2021年にBERTjeの語彙サイズが変更されました。古いファインチューニング済みモデルを使用しており、GroNLP/bert-base-dutch-casedトークナイザーで問題が発生する場合は、以下のトークナイザーを使用してください。

tokenizer = AutoTokenizer.from_pretrained("GroNLP/bert-base-dutch-cased", revision="v1")  # v1は古い語彙です

📚 詳細ドキュメント

arXivの論文にはベンチマークが記載されています。ここでは、論文執筆後に行われたBERTje、マルチリンガルBERT、BERT-NL、およびRobBERTのいくつかの比較を示します。他のいくつかの比較とは異なり、これらのベンチマークのファインチューニング手順は、各事前学習済みモデルに対して同一です。個々のモデルについて、ファインチューニング手順を最適化することで、より高いスコアを達成できる可能性があります。

このページには、実験結果が完了したら追加されます。これらのモデルをファインチューニングする方法に関する技術的詳細は、後で公開される予定です。また、ダウンロード可能なファインチューニング済みチェックポイントも提供されます。

テストされたすべてのモデルは、大文字小文字を区別するトークナイゼーションを使用したbaseサイズ（12層）です。

以下の表のヘッダーは、元のデータソースへのリンクです。スコアは、その特定のファインチューニング済みモデルに対応するモデルページへのリンクです。これらの表は、より多くのシンプルなファインチューニング済みモデルが利用可能になったときに更新されます。

固有表現認識

品詞タグ付け

BibTeXエントリと引用情報

@misc{devries2019bertje,
\ttitle = {{BERTje}: {A} {Dutch} {BERT} {Model}},
\tshorttitle = {{BERTje}},
\tauthor = {de Vries, Wietse  and  van Cranenburgh, Andreas  and  Bisazza, Arianna  and  Caselli, Tommaso  and  Noord, Gertjan van  and  Nissim, Malvina},
\tyear = {2019},
\tmonth = dec,
\thowpublished = {arXiv:1912.09582},
\turl = {http://arxiv.org/abs/1912.09582},
}