Gebert Eng Gat

🚀 GEBERTモデル

GEBERTモデルは、GATグラフエンコーダで事前学習されたバイオメディカル分野のモデルです。このモデルは生物医学のエンティティリンキングや埋め込み表現に役立ちます。

🚀 クイックスタート

GEBERTモデルは、CLEF 2023会議で公開されました。ソースコードはgithubで入手できます。

📚 ドキュメント

事前学習データ

事前学習には、UMLS（2020ABリリース）からのバイオメディカル概念グラフと概念名が使用されました。

ベースモデル

ベースモデルには、microsoft/BiomedNLP-PubMedBERT-base-uncased-abstract-fulltextが使用されています。

引用情報

@inproceedings{sakhovskiy2023gebert,
author="Sakhovskiy, Andrey
and Semenova, Natalia
and Kadurin, Artur
and Tutubalina, Elena",
title="Graph-Enriched Biomedical Entity Representation Transformer",
booktitle="Experimental IR Meets Multilinguality, Multimodality, and Interaction",
year="2023",
publisher="Springer Nature Switzerland",
address="Cham",
pages="109--120",
isbn="978-3-031-42448-9"
}