Scholarbert

🚀 ScholarBERT_100モデル

これは、ScholarBERTモデルファミリーのScholarBERT_100バリアントです。 このモデルは、大量の科学研究論文（2210億トークン）で事前学習されています。 これは大文字小文字を区別するモデルです。トークナイザーは、デフォルトですべての入力を小文字に変換しません。 このモデルは、BERT-largeと同じアーキテクチャに基づいており、合計3億4000万個のパラメータを持っています。

✨ 主な機能

このモデルは、科学研究分野に特化した事前学習が行われており、大規模な科学文献データセットを利用しています。また、大文字小文字を区別することができ、より細かな情報を扱うことが可能です。

📚 ドキュメント

モデルアーキテクチャ

学習データセット

語彙とモデルは、PRD科学文献データセットの100% で事前学習されています。 PRDデータセットは、カリフォルニアに拠点を置く非営利組織であるPublic.Resource.Org, Inc.（「Public Resource」）によって提供されています。このデータセットは、学術論文ファイルのコーパスから構築されており、178,928のジャーナルから75,496,055の論文のテキストを抽出することに成功しています。 これらの論文は、人文科学、生命科学と医学、物理科学、社会科学、および技術の分野にまたがっています。論文の分布を以下に示します。

BibTeXエントリと引用情報

このモデルを使用する場合は、次の論文を引用してください。

@misc{hong2023diminishing,
      title={The Diminishing Returns of Masked Language Models to Science}, 
      author={Zhi Hong and Aswathy Ajith and Gregory Pauloski and Eamon Duede and Kyle Chard and Ian Foster},
      year={2023},
      eprint={2205.11342},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

📄 ライセンス

このモデルは、Apache-2.0ライセンスの下で提供されています。