Bioredditbert Uncased

🚀 BioRedditBERT

BioRedditBERT是一個基於BERT架構的模型，它從BioBERT (BioBERT-Base v1.0 + PubMed 200K + PMC 270K) 初始化而來，並在與健康相關的Reddit帖子上進行了進一步的預訓練。該模型有助於在社交媒體領域進行醫學實體鏈接等相關任務。

🚀 快速開始

本部分暫未提供相關內容，若有需要可參考後續關於模型的詳細介紹。

✨ 主要特性

• 基於BioBERT初始化，繼承了其在生物醫學領域的知識。
• 在健康相關的Reddit帖子上進一步預訓練，更適應社交媒體領域的醫學文本。

📚 詳細文檔

模型描述

BioRedditBERT是一個從BioBERT (BioBERT-Base v1.0 + PubMed 200K + PMC 270K) 初始化的BERT模型，並在與健康相關的Reddit帖子上進行了進一步的預訓練。更多詳細信息請查看我們的論文 COMETA: A Corpus for Medical Entity Linking in the Social Media (EMNLP 2020)。

訓練數據

我們從2015年初到2018年底，爬取了68個健康主題的Reddit子版塊（如 r/AskDocs、r/health 等）的所有帖子，獲得了超過80萬條討論的集合。然後，通過刪除已刪除的帖子、機器人或版主的評論等對該集合進行了修剪。最終，我們得到了一個約有3億個標記和大約78萬個單詞的詞彙量的訓練語料庫。

訓練過程

我們使用原始 google-research/bert 倉庫中的相同預訓練腳本。該模型使用 BioBERT-Base v1.0 + PubMed 200K + PMC 270K 進行初始化。 我們在兩個GeForce GTX 1080Ti（11 GB）GPU上，以64的批量大小、64的最大序列長度、2e-5 的學習率進行了10萬步的訓練。其他超參數與默認值相同。

評估結果

為了展示在社交媒體領域進一步預訓練的好處，我們在一個同樣來自社交媒體的醫學實體鏈接數據集 AskAPatient (Limsopatham and Collier 2016) 上展示了結果。 我們對所有模型採用相同的10折交叉驗證程序，並報告未進行微調的平均結果。使用 [CLS] 作為實體提及的表示（我們也嘗試了所有標記的平均值，但發現 [CLS] 通常表現更好）。

BibTeX引用和引用信息

@inproceedings{basaldella-2020-cometa,
    title = "{COMETA}: A Corpus for Medical Entity Linking in the Social Media",
    author = "Basaldella, Marco  and Liu, Fangyu, and Shareghi, Ehsan, and Collier, Nigel",
    booktitle = "Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing",
    month = nov,
    year = "2020",
    publisher = "Association for Computational Linguistics"
}