Scholarbert

🚀 ScholarBERT_100模型

ScholarBERT_100是ScholarBERT模型家族的一个变体。该模型在大量科学研究文章（共计2210亿个词元）上进行了预训练。这是一个区分大小写的模型，分词器默认不会将所有输入转换为小写。该模型基于与BERT-large相同的架构，总共有3.4亿个参数。

✨ 主要特性

• 基于大规模科学研究文章预训练，拥有2210亿个词元的数据量。
• 区分大小写，能更好地处理大小写敏感的文本。
• 采用与BERT-large相同的架构，具备强大的语言理解能力。

📚 详细文档

模型架构

训练数据集

词表和模型在PRD科学文献数据集的100%数据上进行了预训练。PRD数据集由加利福尼亚的非营利组织Public.Resource.Org, Inc.（“Public Resource”）提供。该数据集从期刊文章文件语料库构建而来，研究人员成功从178,928种期刊的75,496,055篇文章中提取了文本。这些文章涵盖了艺术与人文、生命科学与医学、物理科学、社会科学和技术等领域。文章的分布情况如下所示：

BibTeX引用与引用信息

如果使用此模型，请引用以下论文：

@misc{hong2023diminishing,
      title={The Diminishing Returns of Masked Language Models to Science}, 
      author={Zhi Hong and Aswathy Ajith and Gregory Pauloski and Eamon Duede and Kyle Chard and Ian Foster},
      year={2023},
      eprint={2205.11342},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

📄 许可证

本模型使用Apache-2.0许可证。