Gebert Eng Gat

🚀 GEBERT模型

GEBERT是一个使用GAT图编码器进行预训练的模型，可用于生物医学领域的实体链接和嵌入任务。该模型在生物医学概念图和UMLS（2020AB版本）的概念名称上进行预训练，以提升生物医学实体表示的效果。

🚀 快速开始

GEBERT模型已在CLEF 2023会议上发布。你可以在github上获取该模型的源代码。

✨ 主要特性

• 预训练数据：使用生物医学概念图和UMLS（2020AB版本）的概念名称进行预训练。
• 基础模型：基于microsoft/BiomedNLP - PubMedBERT - base - uncased - abstract - fulltext。

📚 详细文档

引用信息

如果你使用了该模型，请引用以下论文：

@inproceedings{sakhovskiy2023gebert,
author="Sakhovskiy, Andrey
and Semenova, Natalia
and Kadurin, Artur
and Tutubalina, Elena",
title="Graph-Enriched Biomedical Entity Representation Transformer",
booktitle="Experimental IR Meets Multilinguality, Multimodality, and Interaction",
year="2023",
publisher="Springer Nature Switzerland",
address="Cham",
pages="109--120",
isbn="978-3-031-42448-9"
}

信息表格