Pubmedncl

🚀 PubMedNCL

PubMedNCL是一個用於生物醫學論文文檔表示的預訓練語言模型。它基於PubMedBERT構建，這是一個在PubMedCentral的摘要和全文上進行預訓練的BERT模型，並通過引用鄰域對比學習進行微調，相關方法由SciNCL提出。

🚀 快速開始

✨ 主要特性

PubMedNCL是專門為生物醫學論文文檔表示設計的預訓練語言模型，基於在PubMedCentral數據上預訓練的PubMedBERT，並通過引用鄰域對比學習進行微調，能夠更好地處理生物醫學領域的文本。

📦 安裝指南

文檔未提及具體安裝步驟，跳過該章節。

💻 使用示例

基礎用法

from transformers import AutoTokenizer, AutoModel

# load model and tokenizer
tokenizer = AutoTokenizer.from_pretrained('malteos/PubMedNCL')
model = AutoModel.from_pretrained('malteos/PubMedNCL')

papers = [{'title': 'BERT', 'abstract': 'We introduce a new language representation model called BERT'},
          {'title': 'Attention is all you need', 'abstract': ' The dominant sequence transduction models are based on complex recurrent or convolutional neural networks'}]

# concatenate title and abstract with [SEP] token
title_abs = [d['title'] + tokenizer.sep_token + (d.get('abstract') or '') for d in papers]

# preprocess the input
inputs = tokenizer(title_abs, padding=True, truncation=True, return_tensors="pt", max_length=512)

# inference
result = model(**inputs)

# take the first token ([CLS] token) in the batch as the embedding
embeddings = result.last_hidden_state[:, 0, :]

📚 詳細文檔

文檔未提供更多詳細說明，跳過該章節。

🔧 技術細節

文檔未提供具體技術實現細節，跳過該章節。

📄 許可證

本項目採用MIT許可證。

🔍 引用信息

• Neighborhood Contrastive Learning for Scientific Document Representations with Citation Embeddings (EMNLP 2022 paper)
• Domain-Specific Language Model Pretraining for Biomedical Natural Language Processing