Bert Base Swedish Cased

🚀 スウェーデン語BERTモデル

スウェーデン国立図書館 / KBLabは、BERTとALBERTに基づく3つの事前学習済み言語モデルをリリースしています。これらのモデルは、様々なソース（書籍、ニュース、政府刊行物、スウェーデン語版ウィキペディア、インターネットフォーラム）から収集した約15 - 20GBのテキスト（2億文、300億トークン）で学習されており、スウェーデン語テキストに適した代表的なBERTモデルを提供することを目指しています。より詳細な説明は後日公開されます。

現在、以下の3つのモデルが利用可能です：

• bert-base-swedish-cased (v1) - Googleが最初に公開したのと同じハイパーパラメータで学習されたBERT。
• bert-base-swedish-cased-ner (実験的) - SUC 3.0を使用して固有表現抽出（NER）用にファインチューニングされたBERT。
• albert-base-swedish-cased-alpha (アルファ版) - スウェーデン語用のALBERTの最初の試み。

すべてのモデルは大文字小文字を区別し、単語全体のマスキングで学習されています。

📦 ファイル

TensorFlowモデルの重みは近日公開予定です。

🚀 クイックスタート

📥 インストール

以下の例では、Huggingface Transformers 2.4.1とPytorch 1.3.1以上が必要です。Transformers < 2.4.0の場合、トークナイザーを手動でインスタンス化し、do_lower_caseフラグパラメータをFalseに、keep_accentsをTrueに設定する必要があります（ALBERTの場合）。

以下のコマンドを任意のOSのターミナルで実行して、サンプルコードを実行できる環境を作成します。

# git clone https://github.com/Kungbib/swedish-bert-models
# cd swedish-bert-models
# python3 -m venv venv
# source venv/bin/activate
# pip install --upgrade pip
# pip install -r requirements.txt

💻 使用例

基本的な使用法

BERT Base Swedish

様々なソースのデータで学習された標準的なスウェーデン語用BERTベースモデルです。語彙サイズは約5万です。Huggingface Transformersを使用して、Pythonで以下のようにモデルを読み込むことができます。

from transformers import AutoModel,AutoTokenizer

tok = AutoTokenizer.from_pretrained('KB/bert-base-swedish-cased')
model = AutoModel.from_pretrained('KB/bert-base-swedish-cased')

BERT base fine-tuned for Swedish NER

このモデルはSUC 3.0データセットでファインチューニングされています。Huggingfaceのパイプラインを使用すると、簡単にモデルをインスタンス化できます。Transformer < 2.4.1の場合、入力文字列の小文字化を無効にするためにトークナイザーを別々に読み込む必要があるようです。

from transformers import pipeline

nlp = pipeline('ner', model='KB/bert-base-swedish-cased-ner', tokenizer='KB/bert-base-swedish-cased-ner')

nlp('Idag släpper KB tre språkmodeller.')

上記のPythonコードを実行すると、以下のような結果が得られます。使用されるエンティティタイプは、時間を表すTME、人名を表すPRS、場所を表すLOC、イベントを表すEVN、組織を表すORGです。これらのラベルは変更される可能性があります。

[ { 'word': 'Idag', 'score': 0.9998126029968262, 'entity': 'TME' },
  { 'word': 'KB',   'score': 0.9814832210540771, 'entity': 'ORG' } ]

BERTトークナイザーはしばしば単語を複数のトークンに分割します。サブパートは##で始まります。たとえば、文字列Engelbert kör Volvo till Herrängens fotbollsklubbはEngel ##bert kör Volvo till Herr ##ängens fotbolls ##klubbとトークナイズされます。分割された部分を元に戻すには、次のようなコードを使用できます。

text = 'Engelbert tar Volvon till Tele2 Arena för att titta på Djurgården IF ' +\
       'som spelar fotboll i VM klockan två på kvällen.'

l = []
for token in nlp(text):
    if token['word'].startswith('##'):
        l[-1]['word'] += token['word'][2:]
    else:
        l += [ token ]

print(l)

これにより、以下のような結果が得られます（ただし、フォーマットはあまりきれいではありません）。

[ { 'word': 'Engelbert',     'score': 0.99..., 'entity': 'PRS'},
  { 'word': 'Volvon',        'score': 0.99..., 'entity': 'OBJ'},
  { 'word': 'Tele2',         'score': 0.99..., 'entity': 'LOC'},
  { 'word': 'Arena',         'score': 0.99..., 'entity': 'LOC'},
  { 'word': 'Djurgården',    'score': 0.99..., 'entity': 'ORG'},
  { 'word': 'IF',            'score': 0.99..., 'entity': 'ORG'},
  { 'word': 'VM',            'score': 0.99..., 'entity': 'EVN'},
  { 'word': 'klockan',       'score': 0.99..., 'entity': 'TME'},
  { 'word': 'två',           'score': 0.99..., 'entity': 'TME'},
  { 'word': 'på',            'score': 0.99..., 'entity': 'TME'},
  { 'word': 'kvällen',       'score': 0.54..., 'entity': 'TME'} ]

ALBERT base

これを行う最も簡単な方法は、再びHuggingface Transformersを使用することです。

from transformers import AutoModel,AutoTokenizer

tok = AutoTokenizer.from_pretrained('KB/albert-base-swedish-cased-alpha'),
model = AutoModel.from_pretrained('KB/albert-base-swedish-cased-alpha')

👍 謝辞

• 固有表現抽出用にBERTをファインチューニングする際に、ストックホルム大学、ウメオ大学、ゴーテボリ大学のスウェーデン語バンクのリソースを使用しました。
• モデルの事前学習は、一部はKBLab内で、一部は（著作権が有効な資料以外は）GoogleのTensorFlow Research Cloud（TFRC）から提供されるCloud TPUの支援を受けて行われました。
• モデルはHuggingfaceによってS3上にホストされています 🤗