Pubmedncl

🚀 PubMedNCL

生物医学論文の文書表現のための事前学習済み言語モデルです。PubMedNCLは、PubMedCentralの要約と全文で事前学習されたBERTモデルであるPubMedBERTに基づいており、SciNCLで導入された引用近傍対照学習を通じて微調整されています。

🚀 クイックスタート

PubMedNCLは、生物医学論文の文書表現を得るための事前学習済み言語モデルです。このモデルを使用することで、生物医学分野の文書を効果的に表現することができます。

💻 使用例

基本的な使用法

from transformers import AutoTokenizer, AutoModel

# load model and tokenizer
tokenizer = AutoTokenizer.from_pretrained('malteos/PubMedNCL')
model = AutoModel.from_pretrained('malteos/PubMedNCL')

papers = [{'title': 'BERT', 'abstract': 'We introduce a new language representation model called BERT'},
          {'title': 'Attention is all you need', 'abstract': ' The dominant sequence transduction models are based on complex recurrent or convolutional neural networks'}]

# concatenate title and abstract with [SEP] token
title_abs = [d['title'] + tokenizer.sep_token + (d.get('abstract') or '') for d in papers]

# preprocess the input
inputs = tokenizer(title_abs, padding=True, truncation=True, return_tensors="pt", max_length=512)

# inference
result = model(**inputs)

# take the first token ([CLS] token) in the batch as the embedding
embeddings = result.last_hidden_state[:, 0, :]

📚 ドキュメント

引用

• Neighborhood Contrastive Learning for Scientific Document Representations with Citation Embeddings (EMNLP 2022 paper).
• Domain-Specific Language Model Pretraining for Biomedical Natural Language Processing.

📄 ライセンス

MIT