Biolord 2023

🚀 FremyCompany/BioLORD-2023

本模型旨在為臨床句子和生物醫學概念生成有意義的表示，有效解決了傳統方法在生物醫學領域表示不夠語義化的問題，在文本相似度任務上達到了新的先進水平。

🚀 快速開始

本模型基於 sentence-transformers/all-mpnet-base-v2，並在 BioLORD-Dataset 和 Automatic Glossary of Clinical Terminology (AGCT) 生成的定義上進行了微調。

✨ 主要特性

• 本模型採用了新的預訓練策略 BioLORD，通過使用定義和從生物醫學本體組成的多關係知識圖中派生的簡短描述來構建概念表示，克服了傳統方法產生非語義表示的問題，生成的概念表示更符合本體的層次結構。
• 本模型建立了臨床句子（MedSTS）和生物醫學概念（EHR - Rel - B）文本相似度的新的先進水平。
• 本模型在生物醫學領域進行了微調，雖然保留了對通用文本生成嵌入的良好能力，但在處理醫療文檔（如電子健康記錄或臨床筆記）時更有用。

📦 安裝指南

若要使用本模型，需安裝 sentence-transformers：

pip install -U sentence-transformers

💻 使用示例

基礎用法

from sentence_transformers import SentenceTransformer
sentences = ["Cat scratch injury", "Cat scratch disease", "Bartonellosis"]

model = SentenceTransformer('FremyCompany/BioLORD-2023')
embeddings = model.encode(sentences)
print(embeddings)

高級用法

若未安裝 sentence-transformers，可以按以下方式使用模型：

from transformers import AutoTokenizer, AutoModel
import torch
import torch.nn.functional as F

#Mean Pooling - Take attention mask into account for correct averaging
def mean_pooling(model_output, attention_mask):
    token_embeddings = model_output[0] #First element of model_output contains all token embeddings
    input_mask_expanded = attention_mask.unsqueeze(-1).expand(token_embeddings.size()).float()
    return torch.sum(token_embeddings * input_mask_expanded, 1) / torch.clamp(input_mask_expanded.sum(1), min=1e-9)

# Sentences we want sentence embeddings for
sentences = ["Cat scratch injury", "Cat scratch disease", "Bartonellosis"]

# Load model from HuggingFace Hub
tokenizer = AutoTokenizer.from_pretrained('FremyCompany/BioLORD-2023')
model = AutoModel.from_pretrained('FremyCompany/BioLORD-2023')

# Tokenize sentences
encoded_input = tokenizer(sentences, padding=True, truncation=True, return_tensors='pt')

# Compute token embeddings
with torch.no_grad():
    model_output = model(**encoded_input)
# Perform pooling
sentence_embeddings = mean_pooling(model_output, encoded_input['attention_mask'])
# Normalize embeddings
sentence_embeddings = F.normalize(sentence_embeddings, p=2, dim=1)
print("Sentence embeddings:")
print(sentence_embeddings)

📚 詳細文檔

兄弟模型

本模型是 BioLORD - 2023 系列的一部分，該系列還有其他模型：

• BioLORD-2023-M（多語言模型；從 BioLORD - 2023 蒸餾而來）
• BioLORD-2023（模型平均後的最佳模型；即本模型）
• BioLORD-2023-S（最佳超參數；無模型平均）
• BioLORD-2023-C（僅對比訓練；用於命名實體消歧任務）

你還可以查看去年的模型和論文：

• BioLORD-2022（也稱為 BioLORD - STAMB2 - v1）

訓練策略

3 個階段總結

對比階段詳情

自蒸餾階段詳情

引用

本模型與 BioLORD-2023: Learning Ontological Representations from Definitions 論文相關。使用本模型時，請按以下方式引用原文：

@article{remy-etal-2023-biolord,
    author = {Remy, François and Demuynck, Kris and Demeester, Thomas},
    title = "{BioLORD-2023: semantic textual representations fusing large language models and clinical knowledge graph insights}",
    journal = {Journal of the American Medical Informatics Association},
    pages = {ocae029},
    year = {2024},
    month = {02},
    issn = {1527-974X},
    doi = {10.1093/jamia/ocae029},
    url = {https://doi.org/10.1093/jamia/ocae029},
    eprint = {https://academic.oup.com/jamia/advance-article-pdf/doi/10.1093/jamia/ocae029/56772025/ocae029.pdf},
}

🔧 技術細節

該模型將句子和段落映射到 768 維的密集向量空間，可用於聚類或語義搜索等任務。它在生物醫學領域進行了微調，句子和短語可以嵌入到相同的潛在空間中。

📄 許可證

本模型的個人貢獻遵循 MIT 許可證。但由於訓練本模型使用的數據來自 UMLS 和 SnomedCT，在使用本模型之前，你需要確保擁有 UMLS 和 SnomedCT 的適當許可。在大多數國家，UMLS 和 SnomedCT 是免費的，但你可能需要創建一個賬戶並每年報告數據使用情況以保持有效許可。

⚠️ 重要提示

由於訓練數據來自 UMLS 和 SnomedCT，使用本模型前需確保有 UMLS 和 SnomedCT 的適當許可。

💡 使用建議

若處理醫療文檔（如電子健康記錄或臨床筆記），本模型會更有用。

🙏 若您有能力，請幫助我 資助我的開放研究。🙏 感謝您的慷慨！🤗