COVID SciBERT

🚀 COVID-SciBERT：SciBERT的小型語言模型擴展

COVID-SciBERT是SciBERT的一個小型語言模型擴展，SciBERT是一個在科學文本上訓練的BERT模型。它旨在藉助科學領域的文本數據，提升在相關自然語言處理任務上的表現，為科學研究提供更精準的語言理解支持。

🚀 快速開始

模型調用示例

import transformers

model = transformers.AutoModelWithLMHead.from_pretrained('lordtt13/COVID-SciBERT')

tokenizer = transformers.AutoTokenizer.from_pretrained('lordtt13/COVID-SciBERT')

nlp_fill = transformers.pipeline('fill-mask', model = model, tokenizer = tokenizer)
nlp_fill('Coronavirus or COVID-19 can be prevented by a' + nlp_fill.tokenizer.mask_token)

# 輸出:
# [{'sequence': '[CLS] coronavirus or covid - 19 can be prevented by a combination [SEP]',
#   'score': 0.1719885915517807,
#   'token': 2702},
#  {'sequence': '[CLS] coronavirus or covid - 19 can be prevented by a simple [SEP]',
#   'score': 0.054218728095293045,
#   'token': 2177},
#  {'sequence': '[CLS] coronavirus or covid - 19 can be prevented by a novel [SEP]',
#   'score': 0.043364267796278,
#   'token': 3045},
#  {'sequence': '[CLS] coronavirus or covid - 19 can be prevented by a high [SEP]',
#   'score': 0.03732519596815109,
#   'token': 597},
#  {'sequence': '[CLS] coronavirus or covid - 19 can be prevented by a vaccine [SEP]',
#   'score': 0.021863549947738647,
#   'token': 7039}]

✨ 主要特性

SciBERT模型詳情

SciBERT模型由Iz Beltagy、Kyle Lo、Arman Cohan在論文SciBERT: A Pretrained Language Model for Scientific Text中提出，以下是論文摘要：

在科學領域獲取用於自然語言處理任務的大規模標註數據既具挑戰性又成本高昂。為解決高質量、大規模標註科學數據的短缺問題，我們發佈了基於BERT（Devlin等人，2018）的預訓練語言模型SciBERT。SciBERT利用在大規模多領域科學出版物語料庫上的無監督預訓練，提升下游科學自然語言處理任務的性能。我們在包括序列標註、句子分類和依存句法分析等一系列任務上進行評估，使用了來自不同科學領域的數據集。我們證明了其相對於BERT有顯著的統計改進，並在其中幾個任務上取得了新的最優結果。

下游任務（語言建模）詳情 - 數據集 📚

這裡實際上使用了兩個數據集：

• 原始的SciBERT模型是在semanticscholar.org語料庫中的論文上進行訓練的。語料庫規模為114萬篇論文，31億個詞元。他們在訓練中使用了論文的全文，而不僅僅是摘要。SciBERT有自己的詞彙表（scivocab），該詞彙表是為了與訓練語料庫最佳匹配而構建的。
• 擴展部分使用了COVID-19開放研究數據集挑戰（CORD - 19）中的論文。僅使用了摘要，並對詞彙表進行了修剪並添加到現有的scivocab中。為應對COVID - 19大流行，白宮和一批領先的研究團體準備了COVID - 19開放研究數據集（CORD - 19）。CORD - 19是一個包含超過20萬篇學術文章的資源，其中超過10萬篇有全文，內容涉及COVID - 19、SARS - CoV - 2和相關冠狀病毒。這個免費提供的數據集是為全球研究界提供的，用於應用自然語言處理和其他人工智能技術的最新進展，以產生新的見解，支持正在進行的抗擊這種傳染病的鬥爭。由於新的冠狀病毒文獻迅速增加，醫學研究界難以跟上，因此對這些方法的需求日益迫切。

模型訓練

訓練腳本位於此處。

📚 詳細文檔

本項目由Tanmay Thakur創建 | 領英

PS：仍在尋找更多資源以進一步擴展本模型！