Scholarbert

🚀 ScholarBERT_100模型

ScholarBERT_100是ScholarBERT模型家族的一個變體。該模型在大量科學研究文章（共計2210億個詞元）上進行了預訓練。這是一個區分大小寫的模型，分詞器默認不會將所有輸入轉換為小寫。該模型基於與BERT-large相同的架構，總共有3.4億個參數。

✨ 主要特性

• 基於大規模科學研究文章預訓練，擁有2210億個詞元的數據量。
• 區分大小寫，能更好地處理大小寫敏感的文本。
• 採用與BERT-large相同的架構，具備強大的語言理解能力。

📚 詳細文檔

模型架構

訓練數據集

詞表和模型在PRD科學文獻數據集的100%數據上進行了預訓練。PRD數據集由加利福尼亞的非營利組織Public.Resource.Org, Inc.（“Public Resource”）提供。該數據集從期刊文章文件語料庫構建而來，研究人員成功從178,928種期刊的75,496,055篇文章中提取了文本。這些文章涵蓋了藝術與人文、生命科學與醫學、物理科學、社會科學和技術等領域。文章的分佈情況如下所示：

BibTeX引用與引用信息

如果使用此模型，請引用以下論文：

@misc{hong2023diminishing,
      title={The Diminishing Returns of Masked Language Models to Science}, 
      author={Zhi Hong and Aswathy Ajith and Gregory Pauloski and Eamon Duede and Kyle Chard and Ian Foster},
      year={2023},
      eprint={2205.11342},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

📄 許可證

本模型使用Apache-2.0許可證。