Mattpuscibert

🚀 Material SciBERT (TPU): 材料科学における言語理解の向上

このプロジェクトは現在進行中です。本モデルは、材料科学の科学論文の全文を用いて事前学習されたSciBERTベースのモデルです。

🚀 クイックスタート

概要

• 国立研究開発法人物質・材料研究機構（NIMS）のTDMプラットフォーム（https://dice.nims.go.jp/services/TDM-PF/en/）から提供される約700,000本の論文の全文を収集し、ScienceCorpus（SciCorpus）というデータセットを作成しました。
• SciBERTの語彙（32kトークン）に、キーワードモデラー（KeyBERT）を用いてSciCorpusから抽出した100個のドメイン固有の未知語を追加しました。
• 初期条件として、元のSciBERTの重みを使用しました。
• Google Cloud上でTPU（Tensor Processing Unit）を用いて、MatTpuSciBERTモデルを以下のように事前学習しました。
  • バッチサイズ: 256、最大シーケンス長: 512で800,000ステップ
  • バッチサイズ: 2048、最大シーケンス長: 128で100,000ステップ
• 超伝導体の固有表現抽出（NER）（https://github.com/lfoppiano/grobid-superconductors）と物理量の固有表現抽出（https://github.com/kermitt2/grobid-quantities）において微調整とテストを行いました。

✨ 主な機能

• 材料科学の科学論文の全文を用いた事前学習により、材料科学分野の言語理解能力を向上させます。
• SciBERTの語彙にドメイン固有の未知語を追加することで、専門用語の扱いを改善します。
• Google CloudのTPUを用いた高速な事前学習が可能です。

👨‍🔬 作者

• Luca Foppiano
• Pedro Ortiz Suarez

📚 ドキュメント

関連研究

BERTの実装

• BERT（オリジナル） https://arxiv.org/abs/1810.04805
• RoBERTa（Facebookによる再実装） https://arxiv.org/abs/1907.11692

関連モデル

• SciBERT: ゼロから構築された、科学論文（生物学 + コンピュータサイエンス）用のBERT https://github.com/allenai/scibert
• MatSciBERT (Gupta): ゼロから構築された、SciBERTの語彙と重みを持つRoBERTa、約150Kの論文（4つの材料科学ファミリーに限定） http://github.com/m3rg-iitd/matscibert
• MaterialBERT: 未公開
• MatBERT (CEDER): ゼロから構築された、材料科学に関する200万件の文書（約6000万段落）用のBERT https://github.com/lbnlp/MatBERT
• BatteryBERT (Cole): ゼロから構築されたものと事前定義された重みを混合したBERT https://github.com/ShuHuang/batterybert/

結果

10分割交差検証を用いて、DeLFT（https://github.com/kermitt2/delft）を使用して得られた結果です。

超伝導体のNER

物理量のNER

📄 参考文献

この研究は、Googleの研究者プログラム（https://cloud.google.com/edu/researchers ）によって支援されています。

🙏 謝辞

TBA