Bert Base Finnish Cased V1

🚀 フィンランド語BERTモデル

これはGoogle BERTに基づく深度転移学習モデルのフィンランド語版で、様々なフィンランド語の自然言語処理タスクに対して微調整することで、最先端の結果を達成することができます。

🚀 クイックスタート

バージョン1.0リリース (2019年11月25日)

通常は、大文字小文字を区別するモデルの使用をおすすめします。

フィンランド語BERTを紹介する論文：arXiv:1912.07076

✨ 主な機能

これはGoogleのBERT深度転移学習モデルのフィンランド語版です。このモデルは、様々なフィンランド語の自然言語処理タスクで最先端の結果を得るために微調整することができます。

FinBERTは、カスタムの50,000語片語彙を持ち、Googleが以前に公開した多言語BERTモデルと比較して、フィンランド語の単語のカバレッジがはるかに良いです：

FinBERTは、ニュース、オンラインディスカッション、ウェブクロールから収集された30億を超えるフィンランド語のテキストトークン（240億文字）で100万ステップの事前学習を行っています。これに対し、多言語BERTはウィキペディアのテキストで学習されており、フィンランド語のウィキペディアテキストはFinBERTの学習に使用されたテキスト量の約3%です。

これらの特性により、FinBERTはフィンランド語の自然言語処理タスクに対して微調整する際に、多言語BERTだけでなく、これまでに提案されたすべてのモデルを上回ることができます。

📚 ドキュメント

文書分類

YLEニュース（左）とYlilautaオンラインディスカッション（右）のコーパスで、一連のトレーニングセットサイズにおいて、FinBERTは文書分類タスクで多言語BERT（M - BERT）を上回っています。（FastTextを使用したベースライン分類性能も参考として含まれています。）

[コード][YLEデータ] [Ylilautaデータ]

固有表現認識

FiNERコーパスでの評価（Ruokolainen et al. 2019）

（FiNERタガーの結果はRuokolainen et al. 2019から取得）

[コード][データ]

品詞タグ付け

Universal Dependenciesの品詞タグでラベル付けされた3つのフィンランド語コーパスで評価：Turku Dependency Treebank（TDT）、Finnish Treebank（FTB）、Parallel Universal Dependency Treebank（PUD）

[コード][データ]

🔧 技術詳細

バージョン0.2

2019年10月24日 フィンランド語のニュース、オンラインディスカッション、クロールデータのコーパスから最初から学習したBERTベースの大文字小文字を区別しないモデルのベータ版。

モデルをここからダウンロード：bert - base - finnish - uncased.zip

バージョン0.1

2019年9月30日 フィンランド語のニュース、オンラインディスカッション、クロールデータのコーパスから最初から学習したBERTベースの大文字小文字を区別するモデルのベータ版。

モデルをここからダウンロード：bert - base - finnish - cased.zip