COVID SciBERT

🚀 COVID-SciBERT

COVID-SciBERTは、科学テキストで学習されたBERTモデルであるSciBERTの小規模な言語モデリング拡張版です。このモデルは、COVID-19関連の科学文献を用いて拡張されており、COVID-19関連の自然言語処理タスクに役立ちます。

🚀 クイックスタート

このセクションでは、COVID-SciBERTモデルを使用するための基本的な手順を説明します。

モデルのロード

import transformers

model = transformers.AutoModelWithLMHead.from_pretrained('lordtt13/COVID-SciBERT')

tokenizer = transformers.AutoTokenizer.from_pretrained('lordtt13/COVID-SciBERT')

nlp_fill = transformers.pipeline('fill-mask', model = model, tokenizer = tokenizer)
nlp_fill('Coronavirus or COVID-19 can be prevented by a' + nlp_fill.tokenizer.mask_token)

# 出力:
# [{'sequence': '[CLS] coronavirus or covid - 19 can be prevented by a combination [SEP]',
#   'score': 0.1719885915517807,
#   'token': 2702},
#  {'sequence': '[CLS] coronavirus or covid - 19 can be prevented by a simple [SEP]',
#   'score': 0.054218728095293045,
#   'token': 2177},
#  {'sequence': '[CLS] coronavirus or covid - 19 can be prevented by a novel [SEP]',
#   'score': 0.043364267796278,
#   'token': 3045},
#  {'sequence': '[CLS] coronavirus or covid - 19 can be prevented by a high [SEP]',
#   'score': 0.03732519596815109,
#   'token': 597},
#  {'sequence': '[CLS] coronavirus or covid - 19 can be prevented by a vaccine [SEP]',
#   'score': 0.021863549947738647,
#   'token': 7039}]

✨ 主な機能

SciBERTの詳細

SciBERTモデルは、Iz Beltagy, Kyle Lo, Arman CohanによるSciBERT: A Pretrained Language Model for Scientific Textで提案されました。以下はその概要です。

科学分野のNLPタスクにおいて、大規模なアノテーション付きデータを取得することは困難で費用がかかります。我々は、高品質で大規模なラベル付き科学データの不足を解消するために、BERT（Devlin et al., 2018）に基づく事前学習済み言語モデルであるSciBERTを公開します。SciBERTは、科学出版物の大規模なマルチドメインコーパスを用いた教師なし事前学習を利用して、下流の科学NLPタスクの性能を向上させます。我々は、様々な科学分野のデータセットを用いて、シーケンスタグ付け、文分類、依存構造解析などの一連のタスクで評価を行いました。BERTに比べて統計的に有意な改善を示し、いくつかのタスクで新しい最先端の結果を達成しました。

下流タスク（言語モデリング）の詳細 - データセット 📚

ここでは実際に2つのデータセットが使用されています。

• 元のSciBERTモデルは、semanticscholar.orgのコーパスに含まれる論文で学習されています。コーパスのサイズは114万本の論文、31億個のトークンです。学習には論文の全文が使用されており、アブストラクトだけではありません。SciBERTには、学習コーパスに最適に合うように構築された独自の語彙（scivocab）があります。

• 拡張は、COVID-19 Open Research Dataset Challenge (CORD-19)に含まれる論文を使用して行われています。アブストラクトのみが使用され、語彙は削減されて既存のscivocabに追加されています。COVID-19のパンデミックに対応して、ホワイトハウスと主要な研究グループの連合がCOVID-19 Open Research Dataset (CORD-19)を用意しました。CORD-19は、COVID-19、SARS-CoV-2、および関連するコロナウイルスに関する20万本以上の学術論文（10万本以上の全文付き）のリソースです。この無料で利用可能なデータセットは、自然言語処理やその他のAI技術の最新の進歩を適用して、この感染症との戦いを支援するための新しい洞察を生み出すために、世界の研究コミュニティに提供されています。新しいコロナウイルス関連の文献が急増しているため、医療研究コミュニティが追いつくことが困難になっており、これらのアプローチの緊急性が高まっています。

モデルの学習

学習スクリプトはこちらにあります。

📚 ドキュメント

このCOVID-SciBERTモデルは、Tanmay Thakurによって作成されました。

作成者: Tanmay Thakur | LinkedIn

PS: 拡張をさらに進めるためのリソースを探しています！