SapBERT開源跨語言生物醫學實體模型 - 免費助力醫療信息精準解讀

首頁

Sapbert UMLS 2020AB All Lang From XLMR Large

由cambridgeltl開發

SapBERT是基於xlm-roberta-large基礎模型，使用UMLS 2020AB數據集訓練的跨語言生物醫學實體表示模型。

文本嵌入

Transformers

#跨語言生物醫學實體鏈接 #UMLS知識庫適配 #多語言CLS向量表示

下載量 612

發布時間 : 3/2/2022

模型概述

SapBERT是一個專門用於生物醫學領域的跨語言詞彙語義表示模型，主要用於生物醫學實體鏈接任務。它能夠將不同語言的生物醫學術語映射到統一的語義空間。

模型特點

跨語言能力

基於XLM-RoBERTa架構，支持多語言生物醫學術語處理

領域專用表示

專門針對生物醫學領域訓練，優化了醫學術語的語義表示

UMLS知識整合

使用UMLS 2020AB數據集訓練，整合了豐富的生物醫學知識

模型能力

生物醫學術語表示

跨語言實體鏈接

語義相似度計算

使用案例

生物醫學信息檢索

醫學術語標準化

將不同來源的醫學術語映射到標準術語體系

提高醫療數據的一致性和互操作性

跨語言醫學文獻檢索

在不同語言的醫學文獻中檢索相同概念的文檔

促進國際醫學研究交流

臨床決策支持

症狀與疾病關聯分析

識別症狀與潛在疾病之間的語義關聯

輔助臨床診斷決策

🚀 SapBERT-XLMR

SapBERT-XLMR是一個跨語言的生物醫學詞彙語義模型。它基於SapBERT進行擴展，使用UMLS 2020AB數據集進行訓練，以xlm - roberta - large為基礎模型，可用於跨語言的生物醫學實體鏈接等任務。

🚀 快速開始

SapBERT-XLMR是基於SapBERT (Liu et al. 2021) 訓練得到的，使用了 UMLS 2020AB 數據集，並以 [xlm - roberta - large](https://huggingface.co/xlm - roberta - large) 作為基礎模型。請使用 [CLS] 作為輸入的表示。

✨ 主要特性

跨語言能力：可處理多種語言的生物醫學數據。
領域專用：針對生物醫學領域進行訓練，能更好地處理該領域的詞彙語義。

📦 安裝指南

文檔未提及安裝步驟，跳過該章節。

💻 使用示例

基礎用法

以下腳本可將字符串列表（實體名稱）轉換為嵌入向量。

import numpy as np
import torch
from tqdm.auto import tqdm
from transformers import AutoTokenizer, AutoModel  

tokenizer = AutoTokenizer.from_pretrained("cambridgeltl/SapBERT-from-PubMedBERT-fulltext")  
model = AutoModel.from_pretrained("cambridgeltl/SapBERT-from-PubMedBERT-fulltext").cuda()

# replace with your own list of entity names
all_names = ["covid-19", "Coronavirus infection", "high fever", "Tumor of posterior wall of oropharynx"] 

bs = 128 # batch size during inference
all_embs = []
for i in tqdm(np.arange(0, len(all_names), bs)):
    toks = tokenizer.batch_encode_plus(all_names[i:i+bs], 
                                       padding="max_length", 
                                       max_length=25, 
                                       truncation=True,
                                       return_tensors="pt")
    toks_cuda = {}
    for k,v in toks.items():
        toks_cuda[k] = v.cuda()
    cls_rep = model(**toks_cuda)[0][:,0,:] # use CLS representation as the embedding
    all_embs.append(cls_rep.cpu().detach().numpy())

all_embs = np.concatenate(all_embs, axis=0)

高級用法

文檔未提及高級用法相關代碼示例，跳過該部分。

📚 詳細文檔

如需瞭解更多關於訓練和評估的詳細信息，請參閱 SapBERT github倉庫。

📄 許可證

文檔未提及許可證信息，跳過該章節。

📖 引用

如果您使用了該模型，請引用以下文獻：

@inproceedings{liu2021learning,
	title={Learning Domain-Specialised Representations for Cross-Lingual Biomedical Entity Linking},
	author={Liu, Fangyu and Vuli{\'c}, Ivan and Korhonen, Anna and Collier, Nigel},
	booktitle={Proceedings of ACL-IJCNLP 2021},
	month = aug,
	year={2021}
}