Astrobert

🚀 astroBERT：天體物理學語言模型

astroBERT是一個專門為天體物理學領域定製的NLP語言模型。本公開倉庫包含了NASA/ADS在構建該模型過程中的相關工作，同時還提供了教程和其他相關文件。此模型是區分大小寫的（例如，它會將ads和ADS視為不同的內容）。

🚀 快速開始

本倉庫提供了多種模型和對應的使用教程，能幫助你快速在天體物理學相關的NLP任務中使用astroBERT。

✨ 主要特性

• 定製化模型：針對天體物理學領域進行預訓練，能更好地處理該領域的專業文本。
• 多任務支持：支持文本嵌入生成、填空任務、命名實體識別以及文本分類等多種任務。
• 區分大小寫：模型能夠區分大小寫，更精準地處理文本信息。

📦 安裝指南

文檔未提供安裝步驟，因此跳過此章節。

💻 使用示例

基礎用法

你可以通過以下教程快速上手使用astroBERT：

• 生成文本嵌入（用於下游任務）
• 在填空任務中使用astroBERT
• 進行NER - DEAL預測
• 為SciX進行文本分類

📚 詳細文檔

astroBERT模型

• 基礎模型：基於英文文本，使用掩碼語言建模（MLM）和下一句預測（NSP）目標進行預訓練。該模型在2021年ADASS會議的這篇論文中被提出，並於2022年ADASS會議上公開。
• NER - DEAL模型：在基礎模型上添加了一個標記分類頭，並在DEAL@WIESP2022命名實體識別任務上進行了微調。必須從revision='NER - DEAL'分支加載該模型（詳見教程2）。
• SciX分類器：該模型經過微調，可將文本分類到SciX感興趣的7個類別中，包括天文學、太陽物理學、行星科學、地球科學、NASA資助的生物物理學、其他物理學、其他以及垃圾文本。

BibTeX

@ARTICLE{2021arXiv211200590G,
       author = {{Grezes}, Felix and {Blanco-Cuaresma}, Sergi and {Accomazzi}, Alberto and {Kurtz}, Michael J. and {Shapurian}, Golnaz and {Henneken}, Edwin and {Grant}, Carolyn S. and {Thompson}, Donna M. and {Chyla}, Roman and {McDonald}, Stephen and {Hostetler}, Timothy W. and {Templeton}, Matthew R. and {Lockhart}, Kelly E. and {Martinovic}, Nemanja and {Chen}, Shinyi and {Tanner}, Chris and {Protopapas}, Pavlos},
        title = "{Building astroBERT, a language model for Astronomy \& Astrophysics}",
      journal = {arXiv e-prints},
     keywords = {Computer Science - Computation and Language, Astrophysics - Instrumentation and Methods for Astrophysics},
         year = 2021,
        month = dec,
          eid = {arXiv:2112.00590},
        pages = {arXiv:2112.00590},
archivePrefix = {arXiv},
       eprint = {2112.00590},
 primaryClass = {cs.CL},
       adsurl = {https://ui.adsabs.harvard.edu/abs/2021arXiv211200590G},
      adsnote = {Provided by the SAO/NASA Astrophysics Data System}
}

📄 許可證

本項目採用MIT許可證。