Bert Base Finnish Uncased V1

🚀 フィンランド語版BERTモデル（FinBERT）

GoogleのBERTモデルをフィンランド語に適用したバージョンで、フィンランド語の自然言語処理タスクで高い性能を発揮します。

🚀 クイックスタート

リリース1.0 (2019年11月25日)

以下からモデルをダウンロードできます：

• 大文字小文字区別ありのフィンランド語BERTベースモデル: bert-base-finnish-cased-v1.zip
• 大文字小文字区別なしのフィンランド語BERTベースモデル: bert-base-finnish-uncased-v1.zip

一般的には、大文字小文字区別ありのモデルの使用をおすすめします。

フィンランド語版BERTに関する論文: arXiv:1912.07076

✨ 主な機能

これは、GoogleのBERT深層転移学習モデルのフィンランド語版です。このモデルは、ファインチューニングすることで、様々なフィンランド語の自然言語処理タスクにおいて最先端の結果を達成できます。

FinBERTは、カスタムの50,000語のワードピース語彙を持っており、Googleが以前に公開した多言語BERTモデルよりも、フィンランド語の単語をはるかにカバーしています。

FinBERTは、ニュース、オンラインディスカッション、インターネットクロールから収集された30億以上のトークン（240億文字）のフィンランド語テキストで100万ステップの事前学習を行っています。これに対し、多言語BERTはウィキペディアのテキストで学習されており、フィンランド語のウィキペディアテキストはFinBERTの学習に使用された量の約3％です。

これらの特徴により、FinBERTは、フィンランド語の自然言語処理タスクにファインチューニングする際に、多言語BERTだけでなく、これまでに提案されたすべてのモデルを上回る性能を発揮します。

📚 詳細ドキュメント

文書分類

FinBERTは、Yleニュース（左）とYlilautaオンラインディスカッション（右）のコーパスにおいて、さまざまなトレーニングセットサイズで文書分類において多言語BERT（M-BERT）を上回っています。（参考のため、FastTextによるベースライン分類性能も含まれています。）

[コード][Yleデータ] [Ylilautaデータ]

固有表現認識

FiNERコーパスでの評価 (Ruokolainen et al 2019)

(FiNERタガーの結果は Ruokolainen et al. 2019 から引用)

[コード][データ]

品詞タグ付け

Universal Dependenciesの品詞タグで注釈付けされた3つのフィンランド語コーパス（Turku Dependency Treebank (TDT)、FinnTreeBank (FTB)、Parallel UD treebank (PUD)）での評価

[コード][データ]

💻 使用例

基本的な使用法

もしhuggingface/transformersライブラリでこのモデルを使用したい場合は、huggingface_transformers.mdの手順に従ってください。

📦 過去のリリース

リリース0.2

2019年10月24日 フィンランド語のニュース、オンラインディスカッション、クロールデータのコーパスでゼロから学習された、大文字小文字区別なしのBERTベースモデルのベータ版。

モデルはこちらからダウンロードできます: bert-base-finnish-uncased.zip

リリース0.1

2019年9月30日 フィンランド語のニュース、オンラインディスカッション、クロールデータのコーパスでゼロから学習された、大文字小文字区別ありのBERTベースモデルのベータ版をリリースしました。

モデルはこちらからダウンロードできます: bert-base-finnish-cased.zip