Astrobert

🚀 astroBERT: 天体物理学用言語モデル

この公開リポジトリには、NASA/ADSによる天体物理学に特化したNLP言語モデルの構築作業と、チュートリアルや関連ファイルが含まれています。このモデルは大文字小文字を区別します（adsとADSを異なるものとして扱います）。

🚀 クイックスタート

このリポジトリでは、天体物理学に特化した言語モデルastroBERTに関する情報やチュートリアルを提供しています。以下のセクションでは、モデルの種類やチュートリアルのリンク、引用情報などを紹介します。

✨ 主な機能

• マスク付き言語モデリング（MLM）と次文予測（NSP）：Baseモデルは英語での事前学習にこれらの手法を用いています。
• 固有表現認識（NER）：NER - DEALモデルは、特定のタスクに対する固有表現認識が可能です。
• テキスト分類：SciX Categorizerモデルは、テキストを7つのカテゴリに分類できます。

📚 ドキュメント

astroBERTモデル

0. Baseモデル：マスク付き言語モデリング（MLM）と次文予測（NSP）を目的として英語で事前学習されたモデルです。2021年のADASSの論文で紹介され、2022年のADASSで公開されました。
1. NER - DEALモデル：このモデルは、Baseモデルにトークン分類ヘッドを追加し、DEAL@WIESP2022の固有表現認識タスクで微調整されています。revision='NER - DEAL'ブランチからロードする必要があります（チュートリアル2を参照）。
2. SciX Categorizer：このモデルは、テキストをSciXに関心のある7つのカテゴリ（天文学、太陽物理学、惑星科学、地球科学、NASA資金による生物物理学、その他の物理学、その他、テキストゴミ）のいずれかに分類するように微調整されています。

チュートリアル

0. テキスト埋め込みの生成（下流タスク用）
1. Fill - MaskタスクでastroBERTを使用する
2. NER - DEAL予測を行う
3. SciX用にテキストを分類する

BibTeX

@ARTICLE{2021arXiv211200590G,
       author = {{Grezes}, Felix and {Blanco-Cuaresma}, Sergi and {Accomazzi}, Alberto and {Kurtz}, Michael J. and {Shapurian}, Golnaz and {Henneken}, Edwin and {Grant}, Carolyn S. and {Thompson}, Donna M. and {Chyla}, Roman and {McDonald}, Stephen and {Hostetler}, Timothy W. and {Templeton}, Matthew R. and {Lockhart}, Kelly E. and {Martinovic}, Nemanja and {Chen}, Shinyi and {Tanner}, Chris and {Protopapas}, Pavlos},
        title = "{Building astroBERT, a language model for Astronomy \& Astrophysics}",
      journal = {arXiv e-prints},
     keywords = {Computer Science - Computation and Language, Astrophysics - Instrumentation and Methods for Astrophysics},
         year = 2021,
        month = dec,
          eid = {arXiv:2112.00590},
        pages = {arXiv:2112.00590},
archivePrefix = {arXiv},
       eprint = {2112.00590},
 primaryClass = {cs.CL},
       adsurl = {https://ui.adsabs.harvard.edu/abs/2021arXiv211200590G},
      adsnote = {Provided by the SAO/NASA Astrophysics Data System}
}

📄 ライセンス

このプロジェクトはMITライセンスの下で公開されています。