Biomednlp KRISSBERT PubMed UMLS EL

🚀 KRISSBERT

KRISSBERTは、生物医学分野のエンティティリンキングに特化したモデルです。既存のアプローチが抱える問題を解決し、高い精度でエンティティのリンク付けを行うことができます。

🚀 クイックスタート

Entity linking faces significant challenges such as prolific variations and prevalent ambiguities, especially in high-value domains with myriad entities. Standard classification approaches suffer from the annotation bottleneck and cannot effectively handle unseen entities. Zero-shot entity linking has emerged as a promising direction for generalizing to new entities, but it still requires example gold entity mentions during training and canonical descriptions for all entities, both of which are rarely available outside of Wikipedia (Logeswaran et al., 2019; Wu et al., 2020). We explore Knowledge-RIch Self-Supervision (KRISS) and train a contextual encoder (KRISSBERT) for entity linking, by leveraging readily available unlabeled text and domain knowledge.

✨ 主な機能

• 高い精度：7つの標準的な生物医学エンティティリンキングデータセットで、既存の自己教師付き学習手法を上回る精度を達成しています。
• 文脈を考慮したエンティティリンキング：文脈情報を活用することで、曖昧なエンティティのリンク付けを正確に行うことができます。
• 自己教師付き学習：ラベル付けされていないテキストとドメイン知識を利用して学習するため、大規模なアノテーションデータを必要としません。

📦 インストール

1. conda環境の作成と必要なパッケージのインストール

conda create -n kriss -y python=3.8 && conda activate kriss
pip install -r requirements.txt

2. ルートディレクトリを切り替える

cd usage

3. MedMentionsデータセットのダウンロード

git clone https://github.com/chanzuckerberg/MedMentions.git

💻 使用例

基本的な使用法

1. プロトタイプ埋め込みの生成

python generate_prototypes.py

2. エンティティリンキングの実行

python run_entity_linking.py

これにより、約58.3%のtop-1精度が得られます。

📚 ドキュメント

KRISSBERTモデルは、PubMedBERTのパラメータを初期値として使用し、UMLSオントロジーからの生物医学エンティティ名を用いて、PubMedのアブストラクトから自己教師付きのエンティティリンキング例を生成し、継続的に事前学習を行います。詳細については、Zhang et al., 2021を参照してください。

📄 ライセンス

このプロジェクトはMITライセンスの下で公開されています。

📚 引用

もしKRISSBERTがあなたの研究に役立った場合は、以下の論文を引用してください。

@article{krissbert,
  author = {Sheng Zhang, Hao Cheng, Shikhar Vashishth, Cliff Wong, Jinfeng Xiao, Xiaodong Liu, Tristan Naumann, Jianfeng Gao, Hoifung Poon},
  title = {Knowledge-Rich Self-Supervision for Biomedical Entity Linking},
  year = {2021},
  url = {https://arxiv.org/abs/2112.07887},
  eprinttype = {arXiv},
  eprint = {2112.07887},
}