Mattpuscibert

🚀 材料科學BERT（TPU）：提升材料科學領域的語言理解能力

本項目旨在藉助預訓練模型，提升在材料科學領域的語言理解能力，通過特定語料庫和訓練策略優化模型，為材料科學研究提供更精準的文本處理支持。

🚀 快速開始

本項目是基於SciBERT的模型，使用材料科學領域的科學全文進行預訓練。

✨ 主要特性

• 數據收集：從國立材料科學研究所（NIMS）TDM平臺（https://dice.nims.go.jp/services/TDM - PF/en/）提供的約700000篇文章中收集全文，構建了名為ScienceCorpus（SciCorpus）的數據集。
• 詞彙擴展：在SciBERT詞彙表（32k個標記）的基礎上，使用關鍵詞建模器（KeyBERT）從SciCorpus中提取了100個特定領域的未知詞彙。
• 預訓練設置：以原始SciBERT的權重為起始條件，在Google Cloud上使用TPU（張量處理單元）對模型MatTpuSciBERT進行預訓練：
  • 進行800000步訓練，批次大小為256，最大序列長度為512。
  • 進行100000步訓練，批次大小為2048，最大序列長度為128。
• 微調與測試：在超導體命名實體識別（NER）任務（https://github.com/lfoppiano/grobid - superconductors）和物理量命名實體識別任務（https://github.com/kermitt2/grobid - quantities）上進行微調與測試。

👨‍🔬 作者

• Luca Foppiano
• Pedro Ortiz Suarez

📚 詳細文檔

相關工作

BERT實現

• BERT（原始版本）：https://arxiv.org/abs/1810.04805
• RoBERTa（Facebook重新實現版本）：https://arxiv.org/abs/1907.11692

相關模型

• SciBERT：從頭開始訓練，基於科學文章（生物學 + 計算機科學），https://github.com/allenai/scibert
• MatSciBERT (Gupta)：基於RoBERTa從頭開始訓練，使用SciBERT詞彙表和權重，約150K篇論文，限於4個材料科學家族，http://github.com/m3rg - iitd/matscibert
• MaterialBERT：尚未發佈
• MatBERT (CEDER)：從頭開始訓練的BERT，基於200萬篇材料科學文檔（約6000萬段落），https://github.com/lbnlp/MatBERT
• BatteryBERT (Cole)：結合從頭開始訓練和預定義權重的BERT，https://github.com/ShuHuang/batterybert/

實驗結果

通過10折交叉驗證，使用DeLFT（https://github.com/kermitt2/delft）獲得以下結果：

超導體命名實體識別（NER）

物理量命名實體識別（NER）

參考文獻

本工作得到了Google通過研究人員計劃（https://cloud.google.com/edu/researchers ）的支持。

致謝

待補充。